自然规律与大模型的发展瓶颈

自然规律和大模型是两个完全不同维度的东西，也许把它们放在一起讨论并不恰当，但这是一个有趣的话题。

先抛开自然规律，聊聊大模型的发展瓶颈是什么，遇事不决问 AI：

可以看到有两方面：计算资源和数据。计算资源（算力）要足够强，数据质量要足够高，才能不断更新迭代。这很 reasonable，因为大模型就是就是靠大量的数据训练产生的。训练过程其实是一种对数据的拟合，可以看成从海量的数据中总结出一个超级公式，这个公式有上千亿个参数，而训练就是不断调整这些参数来达到最佳的预测性能。

我们常说的 GPT，全称是 Generative Pre-Trained Transformer，翻译过来叫生成式预训练模型，预训练意味着有人已经帮你训练出了一个基础公式，当然这个公式在特定场景下做出的推导可能并不准确，需要使用特定的领域数据再次训练微调参数，才能更好地应用。更多有关 GPT 的科普可以参考 Jay Alammar 的这篇文章：

https://jalammar.github.io/illustrated-gpt2

GPT 的突破出现在模型复杂性达到一定量级后产生的“涌现能力”，但关于“涌现”成因还没有科学定论。

从历史规律看，可以让人感知到的重大技术突破，不会在短时间内接连发生两次，GPT 4 很可能是近几十年该领域内的唯一突破，再往后无非是数据和算力的进一步提升。

回到一开始的那个问题：大模型的发展瓶颈是什么？回答这个问题，先要确定真正意义上的 AI 是什么，或者说人们理想中的 AI 是什么？如果将 AI 产生自我意识作为可能达到的上限，那么我认为这大概率不会发生，这里又要扯到自然规律了。

如果将 AI 模型和描述自然定律的公式做类比，两者的显著不同之处在于：自然定律往往是十分简洁和精美的，而 AI 模型是拙劣的模仿者。例如质能方程 E = mc2 精妙地描绘了质量和能量的关系，如果让 AI 尝试从现有数据中推导出这样的关系，估计会是一个漏洞百出超级复杂的模型。又例如人类的自我意识很可能跟大脑中的量子效应有关（嗯，遇事不决量子力学），人类的思考和推导过程只需要消耗很少的 ATP，而 AI 大模型要消耗巨大的算力，并且会越来越多，直到触碰到一个不可能完成的计算壁垒。

也许 AI 现在走的这条技术路线并不能通往理想中的人工智能，在计算壁垒和热力学第二定律的约束下，AI 发展出自我意识的可能性不大。

伴随着基础科学的突破，也许有一天能看到一个基于全新物理理论架构产生的 AI，那时的世界一定已经天翻地覆，让我们保持探索未知的好奇心，静待科幻照进现实的那一天。

以上观点是完全胡说八道，恕我知识浅薄，愿听读者见解。