Google内部文档泄露：开源大模型太可怕了，OpenAI也顶不住！

今天看到一篇文章，说是Google泄露了一份文档《我们没有护城河，OpenAI也没有》，描述了某位Google员工（非Google公司）对开源AI的看法，观点很有意思，大致的意思是这样的：

ChatGPT大火以后，各大厂商都对LLM趋之若鹜，疯狂投入。

Google也在努力，希望能翻盘，但是大家都无法赢得这场军备竞赛，因为第三方正在悄悄地吃掉这个大蛋糕。

这个第三方就是开源大模型。

开源大模型已经做到了：

1. 在Pixel 6上以每秒5个token的速度运行基础的模型。

2. 一个晚上就可以在个人电脑上微调个性化的AI：

虽然OpenAI和Google的模型在质量上有优势，但是差距正以惊人的速度在缩小：

开源模型更快，可定制，更私密，功能更强。

开源大模型用100美元和13B的参数做事情，几周内搞定；而Google 在1000万美元和540B的参数下，在几个月内苦苦挣扎。

当免费的，不受限制的替代品在质量上和封闭的模型有一拼的时候，人们肯定会抛弃封闭的模型。

这一切都从Facebook开源LLaMA开始，3月初，开源社区得到了这个真正有能力的基础模型，虽然没有instruction ，conversation tuning，没有RLHF，社区立刻就意识到了这个东西的重要性。

随后的创新简直是疯狂的，甚至以天为单位：

2-24 ：Facebook 推出LLaMA，此时仅授权给研究机构，政府组织使用

3-03 ：LLaMA在互联网上泄露，虽然不允许商用，但是突然之间，任何人都可以玩了。

3-12 ：在Raspberry Pi上运行LLaMA，速度很慢，不实用

3-13：斯坦福发布了Alpaca，为LLaMA增加了instruction tuning，更“吓人”的是，斯坦福的Eric J. Wang 使用一块RTX 4090 显卡，只用5 个小时就训练了一个和Alpaca 水平相当的模型，将这类模型对算力的需求降到了消费级。

3-18：5天以后，Georgi Gerganov使用4位quantization技术在MacBook CPU 上运行 LLaMA，它是第一个“无 GPU”解决方案。

3-19：仅仅过了一天，加州大学伯克利分校、CMU、斯坦福大学、加州大学圣地亚哥分校的研究人员联合推出Vicuna，号称达到了 OpenAI ChatGPT 和 Google Bard 90% 以上的质量，同时在超过 90% 的情况下优于 LLaMA 和 Stanford Alpaca 等其他模型。

3-25：Nomic 创建了GPT4all，它既是模型，又是一个生态系统，我们第一次看到多个模型聚集在一个地方

……

仅仅在一个月的时间内，instruction tuning、quantization、quality improvements、human evals、multimodality、RLHF等都出现了。

更重要的是，开源社区解决了可扩展的问题，训练的门槛从大公司降低到了一个人，一个晚上和一台功能强大的个人电脑。

所以作者在最后说：OpenAI也和我们一样犯了错，也顶不住开源的冲击。我们要建立生态系统，让开源为Google工作。

Google已经在Android和Chrome上应用了这种范式，并且获得了巨大的成功。应该让自己成为大模型开源的领导者，继续巩固自己作为思想领袖和引领者的地位。

说实话，这一个多月来大语言模型的发展真是让人眼花缭乱，目不暇接，每天都处于被轰炸状态。

这让我想起了早些年互联网刚起步的时候，今天冒出一个激动人心的网站，明天又冒出一个。还有移动互联网爆发的时候，今天一个app火了，明天另外一个app又火了……

从我个人来讲，我也不希望这些大语言模型被控制在巨头手中，我们只能“寄生”在这些巨头模型上，调用一下它的API，开发一点儿应用，这是很不爽的。最好是百花齐放，平民化，让大家都能建立自己私有的模型。

现在训练的成本小公司应该可以承受了，如果程序员有这个训练的能力，结合下特定的行业和领域，也许是不错的机会。

程序员要想熟练掌握私有化大模型，除了原理之外，还是得自己动手练，我们星球也有几十个人在组队练习，虽然开源社区极大地降低了成本，但是要想训练出一个有用的模型，这玩意儿对硬件环境要求还是太高，显卡很贵，RTX4090怎么着也得上万，肉疼，去云端租一个GPU训练价格更是不可控，训练失败，钱就白白扔掉了，这不像学习一门语言或者框架，下载几个安装包就搞定，几乎是零成本。

希望门槛进一步降低吧！