奇月 发自 凹非寺量子位 | 公众号 QbitAI

2024年诺贝尔物理学奖的两位获奖者John Hopfield和Geoffrey Hinton最近在斯德哥尔摩大学发表了最新的演讲。

现场的氛围非常热烈!

看到Hopfield教授即使借助拐杖也亲自到达现场发表了演讲,Hinton教授也忍着腰痛专程飞到瑞典,让观众们非常敬佩。

物理诺奖得主最新演讲,Hinton带伤飞到瑞典,LSTM之父:都是剽窃

物理诺奖得主最新演讲,Hinton带伤飞到瑞典,LSTM之父:都是剽窃

在这次活动中,John Hopfield教授的演讲主题是“物理学是一种观点”,讲述他个人的科研经历和做科研的思考模式。

他坦白了很多关于科研和对物理的想法:

如何选择问题是科研成果的关键因素
大脑是如何产生思想的,这对我来说是人类最深奥的问题
我认为物理学有助于理解人类和世界

Geoffrey Hinton教授则用通俗易懂的方式讲述了Hopfield网络和玻尔兹曼机器的原理与发展,全程没有用一个方程式。

当我们最终了解了大脑是如何学习的时候,我相信睡眠的作用一定是非常重要的,对此我非常乐观

两位教授结束演讲时,台下的观众也是忍不住都站起来向他们鼓掌致敬。

物理诺奖得主最新演讲,Hinton带伤飞到瑞典,LSTM之父:都是剽窃

物理诺奖得主最新演讲,Hinton带伤飞到瑞典,LSTM之父:都是剽窃

以下是现场演讲内容,在不改变原意的情况下,量子位对部分篇幅做了调整。

John Hopfield:物理学是一种观点

约翰·霍普菲尔德于1933年出生于芝加哥,1954年在威廉·莫尔学院获得第一个学位,1958年在康奈尔大学获得博士学位。1964年,他被任命为普林斯顿大学物理学教授,1980年成为加州理工学院化学和生物学教授,之后他回到普林斯顿大学,目前是分子生物学名誉教授。

物理诺奖得主最新演讲,Hinton带伤飞到瑞典,LSTM之父:都是剽窃

1979年,我转任化学和生物学教授,发现了学科联系,提出新计算见解并撰写论文,该论文推动了相关领域发展。

物理诺奖得主最新演讲,Hinton带伤飞到瑞典,LSTM之父:都是剽窃

物理诺奖得主最新演讲,Hinton带伤飞到瑞典,LSTM之父:都是剽窃

后来,我发现霍普菲尔德模型网络问题,2015年与他人合作提出密集联想记忆模型,期望推动人工智能发展。

我非常尊重各个领域的专家,积极参与跨学科互动,我认为物理学有助于理解人类与宇宙

物理诺奖得主最新演讲,Hinton带伤飞到瑞典,LSTM之父:都是剽窃

特里·西诺斯基和我提出用网络构建感官输入解释,网络含可见和隐藏神经元,可见接收感官输入(如二进制图像),隐藏构建解释,能量代表解释好坏程度,我们需要低能量解释。

以线条画为例,有不同三维解释,我们要让网络给出解释。

先将线条转化为线条神经元激活,线条神经元与三维边缘神经元连接,考虑感知光学因素让边缘神经元相互抑制,还要依据图像线条连接原则建立连接,希望通过设置连接强度使网络解决两种替代解释。

这产生两个问题:一是避免陷入局部最优的搜索问题;二是神经网络自动学习连接的问题。

物理诺奖得主最新演讲,Hinton带伤飞到瑞典,LSTM之父:都是剽窃

物理诺奖得主最新演讲,Hinton带伤飞到瑞典,LSTM之父:都是剽窃

物理诺奖得主最新演讲,Hinton带伤飞到瑞典,LSTM之父:都是剽窃

对于搜索问题,我们通过使神经元有噪声解决,有噪声神经元状态是二元的但决策具有概率性。

用隐藏神经元解释二进制图像时,在可见单元固定图像,随机选隐藏神经元根据输入决定其状态,持续操作使系统达热平衡,此时隐藏神经元状态是平衡解释,网络学习正确权重使低能量状态对应更好的解释,热平衡是系统稳定于概率分布(波尔兹曼分布),低能量配置概率大。

物理诺奖得主最新演讲,Hinton带伤飞到瑞典,LSTM之父:都是剽窃

玻尔兹曼机学习目的是使网络生成的图像类似它感知到的真实图像,有简单学习算法,含唤醒和睡眠阶段。

唤醒阶段固定图像于可见单元,让隐藏单元达热平衡后调整连接权重,睡眠阶段类似做梦更新神经元达热平衡后反向调整权重,该算法平均上能让网络生成图像过程类似感知图像,涉及对数似然梯度概念,通过改变权重使网络关注wake阶段看到的数据。

物理诺奖得主最新演讲,Hinton带伤飞到瑞典,LSTM之父:都是剽窃

但玻尔兹曼机存在问题,权重变大时热平衡过程慢,虽然想法很好但算法太简单,可以做复杂的事情但速度受限。

后来我发现了受限玻尔兹曼机(RBM),其隐藏单元不相互连接,唤醒阶段更新隐藏神经元更简单,睡眠阶段有捷径虽不完全正确但实践有效。Netflix公司就是用受限玻尔兹曼机结合其他方法推荐电影。

为构建特征检测器层可堆叠RBM,将前一个RBM隐藏单元活动模式当数据给下一个RBM,以此捕捉复杂相关性学习多组权重,堆叠后视为前馈网络可进行监督学习,这样初始化网络学习更快。因为网络已学习了数据结构,后面用于学事物名称相对容易,如识别物体方面。

物理诺奖得主最新演讲,Hinton带伤飞到瑞典,LSTM之父:都是剽窃

物理诺奖得主最新演讲,Hinton带伤飞到瑞典,LSTM之父:都是剽窃

物理诺奖得主最新演讲,Hinton带伤飞到瑞典,LSTM之父:都是剽窃

One More Thing

就在演讲视频发布不久后,你懂的,LSTM之父又来搞事情了。

物理诺奖得主最新演讲,Hinton带伤飞到瑞典,LSTM之父:都是剽窃

不过也有网友觉得这是Jürgen吃不到葡萄就说葡萄酸的心理:

物理诺奖得主最新演讲,Hinton带伤飞到瑞典,LSTM之父:都是剽窃

物理诺奖得主最新演讲,Hinton带伤飞到瑞典,LSTM之父:都是剽窃

Jürgen还发表了一个详细的技术报告,列出了两位诺贝尔获奖者工作的存疑之处,感兴趣的朋友可以点击参考链接2进一步阅读。

物理诺奖得主最新演讲,Hinton带伤飞到瑞典,LSTM之父:都是剽窃

物理诺奖得主最新演讲,Hinton带伤飞到瑞典,LSTM之父:都是剽窃

参考链接:
[1]https://www.youtube.com/watch?v=lPIVl5eBPh8

[2]https://people.idsia.ch/~juergen/physics-nobel-2024-plagiarism.html#DLP