人工智能将如何发展

2023年，人们对AI技术的兴趣达到了狂热的程度。2022年11月，OpenAI推出ChatGpt，之后的六个月里，谷歌搜索引擎中人工智能词条的出现次数增长了近四倍。截至2023年8月，麦肯锡最新全球调查(McKinsey Global Survey)的三分之一受访者表示，他们的机构至少在一个方面使用了生成式人工智能。

这项技术在2024年将如何发展？研究人员正在从三个主要方面改进AI模型，即模型大小、数据和应用。

一、AI模型走向更小更快

在过去的几年里，语言模型越大越好是人工智能研究的公认信条。尽管计算机在功能变得更强大的同时也变得越来越小，但对于LLM¹来说，情况并非如此。LLM的参数以数十亿乃至数万亿为单位衡量²，根据研究公司SemiAnalysis的数据，为chatgpt豪华版提供动力的GPT-4需要超过16000个专用Gpu芯片，并花费数周时间进行培训，成本超过1亿美元。根据芯片制造公司英伟达的说法，在任何合理规模上部署LLM，让训练模型对用户的查询做出反应，其推理成本现在已经超过训练成本。

随着人工智能模型逐渐成为商业产品，人们越来越注重在更小、更快的同时保持性能。一种方法是使用更多的训练数据来训练一个更小的模型。例如，谷歌深度思维(Google DeepMind)于2022年开发的LLM，Chinchilla，尽管其规模只有OpenAI的GPT-3的四分之一，但性能却优于后者（它接受的数据是OpenAI的四倍）。另一种方法是降低模型所包含参数的数值精度。华盛顿大学的一个研究小组已经证明，在一个Gpu芯片上压缩一个Chinchilla大小的模型而没有明显的性能下降是可能的。最关键的是，小型模型的运行成本要低得多。有些甚至可以在笔记本电脑或智能手机上运行。

二、AI数据侧重点转变

在数据层面，关注点也从数量转移到了质量。这一点尤其重要，因为找到更多训练数据的困难越来越大：2022年的一项分析表明，新的高质量文本库存可能会在未来几年内枯竭。使用模型本身的输出来训练未来的模型可能会导致其无法突破——因此，LLM的采用使互联网作为训练数据来源的价值降低。但数量并不代表一切。找出训练数据的正确组合仍然更像是一门艺术，而不是一门科学。而且，模型越来越多地使用包括自然语言、计算机代码、图像甚至视频在内的数据类型组合进行训练，这也会为其开发新的功能。

还可能会出现哪些新的应用？实际上在人工智能领域，存在着一些“过剩”的情况，它的发展速度比人们能够利用的速度要快。与其谈论什么是可能的不如说说什么是实用的。进步的关键性不在于模型本身的质量，而在于学习如何更有效地使用它们。

三、主要的应用模型

第一种是“提示工程”(prompt engineering)，以模型本身为基础，给它们提供特定的提示。该方法包括制定输入短语或问题，=，以引导模型产生所需的输出。第二种“微调”（fine-tune），在特殊的模块下对模型进行额外训练，以提高其在特定任务中的表现。例如，LLM可以使用医学期刊上的论文进行微调，使其更好地回答与健康相关的问题。第三种方法是将LLM嵌入到范围更大、效能更高的架构中。LLM就像一个发动机，要利用它来完成特定的任务应用程序，我们就需要以它为基准来造一辆专属汽车。这方面的一个例子是“检索增强生成”³这种技术将LLM与额外的软件和特定主题的知识数据库相结合，当被问及一个问题时，系统首先在数据库中搜索。如果它找到了相关的内容，它就会将问题连同事实信息一起传递给LLM，从被提供的信息中生成答案。它还允许LLM个性化，就像谷歌的NotebookLM，允许用户提供自己的知识数据库。

在人工智能的商业潜力备受关注之际，对人工智能应用的探索仍在继续。正如斯坦福大学的克里斯·曼宁所说:“我们有理由相信……探索永无止境，更好的永远在前方等着我们。”LLM和其他形式的生成式人工智能可能是AI大拼图中的一大块，但它们绝不是人类的极限。【全文完】

1. 大型语言规模，是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等。 ↩︎
2. 当前家庭用户电脑中最新的RTX4090显卡可带动的参数大约在34亿。 ↩︎
3. RAG 使用来自私有或专有数据源的信息来辅助文本生成的技术。 ↩︎

---

来源：《经济学人》2023年10月28日刊 | 作者：作者不详
原文标题：