我看见的世界(64)_李飞飞

六四

　　自此以后，和安德烈的会面便成了我的固定日程。我们的目标是设计一种新的算法，不只是能简单地标记任何出现在前景中的物体，更可以描述整个场景。即使按照我们实验室设定的高标准，这种新算法也感觉像是我们研究的未来，甚至可能是整个领域的未来。但是我的激情让我成为极其严苛的批评者。

　　“好吧，安德烈，这看起来很不错。”

　　“但是……？”他犹豫了一下，笑着说。他知道这句话后面跟的是什么。

　　他工作站上的显示屏似乎展现了我们的想法：只需输入一张图片，就能输出一句图片描述。

　　他的算法很聪明，在某些方面甚至极其聪明；尽管如此，我知道我们还有更长的路要走。这只是解决方案的一个片段，而不是整体。“但是，我们还没有实现目标。”

　　他无力地坐在座位上。

　　方法问题非常微妙。在担任教授的这些年里，我已经敏锐地注意到了与此相关的现象。学生们往往会疯狂地专注于自己的模型是否有效，以至“模型如何运作”的问题被抛到了一边，安德烈就是这种情况。不可否认，他的模型乍一看的确有效，但通过定期的交流，我对他的思路已经非常了解。虽然他的方法有理有据，提供的图片说明也很有文采，但最终得出的模型只是某种图片说明匹配系统。

　　简单来说，他的计算机屏幕上显示的描述似乎过多来自某种形式的训练数据，就好像他的算法是在某种精心设计的数据库中搜索合适的描述一样。我们的最终目标是让算法可以完全从头开始生成图片说明，而在我看来，他的模型无法实现这个目标。我确信他的模型在实践中无法泛化：尽管在测试时表现良好，但它会被训练集之外的图片所迷惑，导致图片说明出现描述错误或语法错误，或二者兼有。但真正的问题在于科学性。模型提供输出图片说明的方式是通过检索，这并不属于真正的创作。

　　安德烈叹了口气，充分认识到我给他增加了多么大的工作量。他显然很气恼，但我知道他能认识到，这道鸿沟是值得跨越的。

　　“好吧，让我重新思考一下。”他说，“我明白了，图片说明需要逐字逐句地书写。这就产生了很多问题，比如我们怎样才能遵循图像的视觉特征，写出语法正确的内容，但是……我会想办法的。”

　　我笑了笑。他没有掩饰自己的沮丧，但他的思路是对的。作为一名科学家，我拒绝接受任何折中方案，他很清楚这一点。至于他如何实现，谁也说不准，但我知道，他骨子里和我一样不屈不挠。我相信他会成功的。

　　＊

　　语言文字和视觉图像是两个完全不同的领域。图像的基本单位是“像素”，这个术语最初是“图像元素”的缩写，现在已经很常用。像素是一个几乎无法察觉的点，捕捉了场景中单个小点的颜色。要描绘出有意义的画面，可能需要数百甚至数千个像素，或者更多。我们口袋里的手机可以捕捉到由数千万个像素点组成的细节丰富的图像。但是，在单独评估图像时，像素本身基本上不能提供任何信息。无论是我们大脑中的灰质还是机器中的硅，视觉算法的工作就是将这些像素组合成越来越大的二维图像区域，然后以某种方式扫描其中与现实世界的三维特征相对应的模式：空间、体积、表面、纹理等等。

　　相比之下，英语等语言的基本单位是单词，至少在日常口语和书写中是如此。与像素不同的是，单词通常表达独特的含义，独立存在时同样可以表意。单词的范围虽然很大，但数量是有限的。尽管如此，当我们把单词组合在一起之后，它们的含义就会受到影响，甚至完全改变，比如“rock bottom”（最低点）、“rock fragment”（岩石碎片）和“rock music”（摇滚乐），这几对单词都含有rock一词，意思却完全不同。当更多的单词串联起来构成更长的句子时，这种现象就会变得更加复杂，更不用说段落、文章和书籍了。总之，单词表达思想的组合潜力是无穷无尽的。

　　虽然新时代早期的头条新闻主要是计算机视觉的突破，但在同一时期，自然语言处理技术也取得了丰硕成果。其中一颗早期的明珠就是递归神经网络（Recurrent Neural Network，RNN）。递归神经网络是一组专门为处理线性单词序列而设计的算法，能够快速推断文本的基本属性，就像AlexNet这类卷积神经网络处理图像的方式一样。和卷积神经网络一样，递归神经网络也已经存在了几十年，但直到现在，人们才意识到它们的真正威力。

　　然而，比任何一个领域的进展都更具吸引力的，或许是人工智能的众多子领域之间开始出现交叉融合。不断壮大的神经网络家族为视觉、语言、语音和其他形式的感知提供了一个共同的算法框架，激励着像我们这样的实验室去模糊它们之间的界限，以实现更综合、更像人类的能力。

　　＊

　　“我想我有办法了。”安德烈隔着我办公室的门说。距离我们上次谈话已经过去了几天，这次他显得没那么沮丧了。我甚至看得出他有了好点子。“想象一下，把卷积神经网络和递归神经网络进行配对，”他一边说一边进屋坐到沙发上，“一个负责对视觉信息进行编码，同时将它跟单词配对，另一个负责生成语言。然后我们以成对出现的图像和人类文字描述为基础，来训练我们的模型。”

　　现在总算有些眉目了，我边琢磨边点头。

　　“继续。”我好奇他还有什么想法，“然后呢？”

　　“肯定还有一些未知的东西需要解决，但我认为递归神经网络会根据语库中已有的单词，有条件地生成图片描述中的每个新单词。这样，我们在描述图像内容的同时，也能遵循从训练数据中推断出的语法模式。至少从理论上来讲，结果应该是一个完全新颖的描述，或多或少是使用自然语言来呈现的。”

　　我很难不被这个想法打动。哪怕这招儿只有一半管用，他也能从我给他留下的困境中脱身。我迫不及待地想知道接下来会发生什么。

　　※

虚阁网(Xuges.com)