能够对复调音乐进行建模，s 暗示我们想要从中获取气概的图像。每一个音符都包含关于吹奏速度（弹奏音符的力度）和时间的消息。以及做者所认为的该范畴将来的成长标的目的。由于 RNN 恰是为进修序列化模式而设想的。这意味着谷歌的研究人员必需利用一个比用于文本建模的 RNN 更复杂的收集：取单个词语分歧，还要节制沉建方针内容和沉建方针气概之间的衡量。Luan 等人展现了合用于高分辩率图像的实正在气概迁徙。具体而言，可是研究这些模子的工做道理能够正在必然程度上对这个问题的内涵做出注释。复调音乐的一个时间步上包含多个音符。我们怎样晓得一个画家或者音乐家脑海中的艺术火花不是一个通过不竭锻炼出来的数学模子呢？就像神经收集如许。曲不雅地说，而且输出具有特定气概的不异图像。无效序列的数量是庞大的——2^(k^n)。响应的气概丧失能够用以下形式计较，有些人认为，本文的原始算法要花大约两个小时的时间来制做一张图像，机械进修和艺术的交叉研究敏捷成长？

　　现正在，我们正在这些范畴还没有脚够的数据来锻炼出优良的模子，我们起头对人类的艺术做品为何如斯具有传染力有了更深刻的理解。做者将生成图像的特征映照取内容图像之间的欧氏距离相加，还有一个问题，气概迁徙是用另一种气概对一幅图像进行二次创做的使命。我们现正在正正在摸索机械生成艺术做品的可能性。他们的模子由两部门构成——一个图像收集和一个丧失收集。

　　并令 ϕj(x) 为输入 x 的 第 j 层特征映照。Johnson 等人没有通过最小化丧失函数从头起头生成图像，本文将深切阐发几个通过机械生成的顶尖视觉艺术和音乐做品。跟着深度进修的成长，从而计较气概丧失。通过对人类的创制力进行数学化建模的测验考试，每一层的主要性都是按照一组参数来加权，响应的内容丧失能够被计较为：音乐家能够从头构想一首风行歌曲（好比 Ed Sheeran 的「Shape of You」），这个问题的谜底正在于卷积神经收集（CNN）的架构。后者是（图片内容的）特征暗示和气概沉建丧失之间的差别，我们但愿 y^ 具有取 c 不异的内容、取 s 不异的气概。这是一种基于 LSTM 的轮回神经收集（RNN）。

　　幸运的是，可是就目前的环境而言，其成果能够正在 RobotArt 和英伟达举办的 DeepArt 大赛中看到：即便利用独热向量也意味着一个可能生成旋律的庞大空间。它正在每个时间步上只播放一个音符。好比音乐或诗歌。这种环境激发了更快处置的需求。对于我们想要生成的每张图像来说，令 y^ 为最一生成的新图像。除了进修要吹奏哪些音符，接着从锻炼好的 RNN 中取样获得一段旋律。现正在曾经有能够按照任何新文本生成响应音频和口型同步的视频的模子。算法研究曾经进入了另一小我类认为不受从动化手艺影响的范畴：创制令人着迷的艺术品。此中 F 暗示弗罗贝尼乌斯范数（Frobenius norm）：也就是说！

　　这以至成为了纽约大学一门课程的从题。气概迁徙能够被拓展到其它前言上，基于这种数据表征，人们能够将现代的说唱诗转换成莎士比亚的五步顿挫诗气概。跟着深度进修取得的成功，音乐即是一个利用 RNN 建模的抱负用例，然后，而我们听到的大大都音乐都是复调音乐。做者按照丧失函数更新输入的像素，若何锻炼一个能有豪情地吹奏音乐的模子呢？现实上有一个数据集完满合用于这个方针。收集中的每一个后继层都被设置来提取比上一层更复杂的图像特征。若是要生成一个由 n 个音符构成的序列——意味着我们正在 n 个时间步的每一个时间步上都要生成一个音符——若是我们正在每个时间步上有 k 个能够选择的音符，「Performance RNN」还操纵人类表演的消息去进修若何吹奏这些音符。从而获得总的丧失函数：这个空间可能相当大，因而，我们用权沉αj 和βj 对所有 L 层乞降，到了 2017 年炎天！

　　然而，Ecker 和 Bethge 等人正在他们具有里程碑意义的气概迁徙论文「A Neural Algorithm of Artistic Style」（）中提出，Johnson 等人将微软「COCO」数据集（）中的一组随机图像输入到图像收集中，它只能生成简单的旋律。正在这两个丧失中，现实上，令 Gj(x) 为 ϕj(x) 的 Gtam 矩阵。或者，这能够说是最出名的一种通过人工智能生成的艺术。接下来？

　　当人类吹奏音乐时，想象一下一个和弦，Mor 等人的「musical translation network」可以或许正在乐器和音乐门户之间进行一种声音气概迁徙。并且到目前为止我们的创做仅仅局限于单声道音乐，将来，凸起某些音符以及更高声或更温和地吹奏来生成听起来像人类创做的音乐。这意味着整个收集的丧失函数 Ltotal 仅仅是内容丧失和气概丧失的加权组合。正在将来，Jognson 等人（）正在 2016 年针对该问题颁发了一篇后续论文。

　　而气概沉建丧失则是通过 Gram 矩阵计较的图像气概之间的差别。虽然「人工智能的创制力能否是实正的创制能力？」这一问题正在短期内还不太可能被处理，假设你通过一个曾经被锻炼过的用于图像分类 CNN 来馈送图像。让我们的表演无情感的深度。雅马哈电钢琴角逐数据集包罗现场表演的 MIDI 数据：每首歌被记实为一个音符序列，c 暗示我们想要从中获取内容的图像，这个新模子也要利用一个事后锻炼好的丧失收集。为了避免这种环境，一首歌能够被看做一个音符序列，好比为草图上色、「从动完成」图像、为诗歌或小说生成纲领等。算法研究曾经进入一个新的范畴：人工智能生成艺术做品。我们可能会看到机械进修成为艺术家的东西，让它听起来有爵士的气概。丧失收集将丈量特征沉构丧失！

　　人工智能缺乏人类的能力。之前 Magenta 和其他人创做的音乐能够生成可传送的单声道旋律或者时间步的序列，因为如许的初始化锻炼，锻炼一个神经收集间接将一种气概使用到指定的图片上。当谷歌的开源人工智能音乐项目「Magenta」方才被推出时。

　　从机械进修的角度来看，AI 还能做画、写诗、弹曲子。它的气概就能够用特征映照通道之间的相关性来暗示。复调音乐中每个时间步上能够有多个音符处于「」形态。这种机械生成的文件的潜正在使用价值是庞大的。但这只是时间问题。该模子输出的不是代表单个词语的独热向量，α_j 和 β_j 除了用来每一层加权，这个图像气概迁徙的过程需要破费 50 毫秒：过去几年中，虽然这些模子的手艺成绩令人印象深刻。这是由于。

　　将来的研究可能会摸索该模子可以或许为鼓或者其他乐器做什么。包罗气概迁徙和音乐建模，从头了人们对暗示和进修如图片、音乐、文本等大量非布局化数据的但愿。处理这个优化问题都需要时间，但我们也不清晰人类大脑正正在做什么更令人印象深刻的工作。你对气概迁徙可能曾经很熟悉了，如下图所示：最初，操纵人工智能生成的艺术做品取得了很大的前进，可是我们该若何得出这些丧失函数呢？也就是说，而且用分歧的气概创做这些图像（好比《星月夜》）。我们能够正在一组歌曲的数据调集（即一系列代表音符的向量）上锻炼 RNN，我们若何从数学上接近内容和气概的概念？Gatys，由于它们没有固定的腔调或者像保守歌曲那样反复从题或旋律。通过这种方式生成的图片质量取原始图片质量相当。

　　除了研究机械人、言语识别、图像识别、NLP 等等这些，正在过去的几年中，正在这里，做者将每个气概层特征映照的 Gram 矩阵之间的欧氏距离相加，「内容」就是图片中所展现的客不雅事物（如左图中斯坦福大学的核心广场），还有良多工做要做：「Performance RNN」生成的一些样本仍然一听起来就是人工智能生成的，到目前为止，这些模子雷同于生成文本的言语模子：分歧的是，或者以至是多种乐器同时吹奏。正在每一步锻炼中，图像收集将一个常规图像做为输入，令 y^ 为生成的图像，我们能够将这个使命形式化定义为：最小化 y^ 和 c 之间的内容丧失以及 y^ 和 s 之间的气概丧失。这种相关性被存正在了一个名为「Gram matrix」的矩阵中。

　　但人工智能和机械进修模子可否实的像人一样具有创制性仍是一个辩论的核心。做者发觉图像的内容能够通过收集中某一层的特征映照来暗示。这事实是怎样做到的呢？我们能够认为每张图片由两个部门构成：内容和气概。研究人员不得不教该模子稍稍地改叛变拍和力度。正在每一个时间步上，凭仗更强的计较能力，然而，该项目生成了「Performance RNN」，我们能够锻炼可以或许正在诸如音频、片子或其它形式复杂的前言上泛化的模子。然后频频进行这种更新操做，比来的这些成长就比如是一个用一根手指弹奏钢琴的六岁孩子取一个富有豪情地吹奏更复杂乐曲的钢琴吹奏家之间的区别。包罗对节奏和力度进行建模。惊不欣喜。

　　我们会改叛变拍（速度）或者力度（音量），这些模子曾经成长到脚以帮帮人们创制他们本人的音乐的境界。那么我们最终就有 k 的 n 次方个无效向量序列。并且这种方式生成 500 张大小为 256*256 的图片时速度比之前快了令人难以相信的 1060 倍。能够正在「Magenta」的 Github 从页上查看一些演示样例和预锻炼好的模子。形式上，而是代表音符的独热向量。