OpenAI 首席科学家 MIT演讲！
- 揭示 o1模型训练核心秘密： 通过激励模型学习是培养 AGI 系统通用技能的最佳方式。
- 提出了类比“教人钓鱼”的方式，强调激励学习的重要性：“授人以鱼，不如授人以渔”，但是更进一步的激励应该是： “让他知道鱼的美味，并让他保持饥饿”，这样他就会主动去学习如何钓鱼。
- 在这个过程中，他还会学会其他技能，如耐心、阅读天气、了解鱼类等。而其中有些技能是通用的，可以应用到其他任务中。
- 通过激励来教导比直接教导可能要花费更多时间。对于人类来说确实如此，但对机器来说，可以增加计算量以缩短时间。因为机器可以通过更多的计算资源克服人类时间上的限制，从而在专门领域表现得比专家更好。
- 这就像在《龙珠》中，有个“精神与时间之屋”，在里面训练一年，外面只过一天，倍率是365。对于机器来说，这个倍数要高得多。因此，它认为通过高效的计算，通才模型在专门领域中也能超越专家。
以下是演讲主要内容总结：
1. 通用智能 vs. 专用智能
Hyung Won Chung 强调了通用智能（General Intelligence）与专用智能（Specialized Intelligence）的区别。专用智能模型是为特定任务设计的，适合处理单一任务，而通用智能模型能够处理广泛的任务，适应各种未知场景。
由于通用智能要求模型具备更强的适应能力，研究者不可能为模型教授每个具体任务。相反，Hyung Won Chung 认为，通过弱激励机制，让模型在大规模数据和计算资源的驱动下自主学习各种技能，才是通往通用智能的可行途径。
2. 扩展与计算能力的关键作用
Hyung Won Chung 展示了一个重要的数据点：计算能力以指数级增长，成本持续降低。这意味着随着时间的推移，更多的计算资源变得可用，这为AI研究提供了巨大的机会。
他指出，AI研究者的工作是利用这种不断扩大的计算能力，设计可扩展的算法，使模型能够随着计算资源的增加而自动提升性能。与此相对，那些高度结构化的模型虽然在初期可能表现较好，但在规模化时往往会遇到瓶颈。
3. 弱激励学习（Weak Incentive Learning）
目前大规模语言模型，如GPT-3和GPT-4，使用的是弱激励学习，例如通过下一个词预测任务来驱动模型的训练。Hyung Won Chung 提出，通过这种任务，模型不仅学会了语言，还掌握了推理、数学和编码等技能，尽管这些技能并没有被直接教授。
他进一步指出，与其直接教给模型某种技能，最好的方法是通过提供弱激励，让模型在面对大量任务时自主发展出解决问题的通用能力。例如，通过训练模型进行下一个词的预测，模型不但学会了语言结构，还学会了如何在没有明确指令的情况下推理出复杂答案。
4. 涌现能力（Emergent Abilities）
Hyung Won Chung 详细讨论了涌现能力这一现象。随着模型规模的扩大，模型在解决问题时往往会自发地表现出新能力。这些能力并非被人为编码，而是通过模型的自我学习在训练过程中自然涌现出来的。
他用大规模语言模型的例子说明了这一点。在没有直接教授推理或数学的情况下，GPT-4等模型能够表现出复杂的推理能力和数学计算能力。这表明，涌现能力是随着模型规模扩展而自然发生的，尤其是在面对广泛的任务时。
5. 激励结构的设计
Hyung Won Chung 提倡为AI模型设计更复杂的激励结构。通过引入更丰富的奖励机制，模型可以学会更高层次的能力。例如，Hyung Won Chung 提出，为了解决语言模型中的“幻觉问题”（hallucination），可以设计奖励结构，使得模型不仅仅追求回答问题的正确性，还要学会在不确定的情况下说“不知道”。
他指出，通过激励结构，模型可以学会如何判断自己是否知道答案，这种能力对提高模型的可靠性和可信度至关重要。激励结构使模型在大量任务的驱动下学会适应不同的问题情境，并在此过程中发展出更通用的能力。
6. 扩展定义的重新思考
Hyung Won Chung 对“扩展”（Scaling）的定义进行了重新审视。传统意义上的扩展指的是“用更多的机器做相同的事情”，但他认为，这种定义过于狭隘。
他提出了一种更有价值的扩展定义：识别那些限制进一步扩展的假设或结构，并用更具扩展性的方法替代它们。这种扩展不只是增加计算资源，还涉及对模型进行重新设计，使其更好地利用不断增加的计算能力和数据。
7. 持续的“去学习”与适应
随着更强大的模型（如GPT-4）的推出，AI领域的基本假设不断变化。Hyung Won Chung 指出，研究者需要具备一种持续“去学习”的能力，以便适应新模型带来的新现实。
他解释说，语言模型的发展使得我们几乎每隔几年就必须抛弃旧的认知，适应新模型带来的新能力。这种去学习的过程对于保持在AI领域的领先地位至关重要，因为每次新模型的出现都会改变我们对AI的理解和使用方式。
?完整演讲视频：https://youtube.com/watch?v=kYWUEV_e2ss
?演讲PPT：https://docs.google.com/presentation/d/1nnjXIuN2XDJENAOaKXI5srQscO3276svvP6JgivTv6w/edit#slide=id.g2885e521b53_0_0
Libcimbar：无需联网、蓝牙、NFC，扫描二维码即可传输文件
- 通过一种特殊算法可将最大33MB的文件压缩成一种特殊的二维条码格式（色彩图标矩阵条码）
- 然后通过手机摄像头扫描即可读取并解码这些条码，再将其转化为文件或数据。
- 传输速度可以达到 850 kbps
- Libcimbar 使用 Reed-Solomon 纠错码，即使部分条码数据丢失或损坏，也能够进行恢复和纠错
- 支持多个平台（如 Linux 和 Android），也可以在网页浏览器中运行。意味着你可以在不同设备上使用它来进行数据传输。
?详细介绍：https://xiaohu.ai/p/13836
?GitHub：https://github.com/sz3/libcimbar
?解码器安卓应用： https://github.com/sz3/cfc
LVCD：专门为动画视频线稿上色工具
- 可以把黑白线稿自动转化为彩色动画视频
- LVCD 可以同时处理整个视频序列，保证每一帧的颜色连贯，尤其是在角色快速移动时，也能保持颜色一致。
- 特别擅长处理大幅度运动的动画场景
- 利用参考帧中的颜色信息，将这些颜色准确迁移到其他帧中
- 能够处理多种类型的线稿输入，包括手绘线稿和自动生成的线稿。
- 能够生成不限长度的长时间视频，而不是被原始模型的固定长度限制住。
?项目地址：https://luckyhzt.github.io/lvcd
? https://blink.csdn.net/details/1821036
