2025年6月2日，兰德公司（RAND）发布题为《谁将为未来人工智能发展提供资金？》（Who Could Fund Future Artificial Intelligence Development?）的专家洞察报告。报告指出，自2018年以来，能够执行多种任务的基础模型人工智能发展迅速，但其训练和运行消耗的电力和先进计算芯片等资源呈指数级增长。这引发了关于未来如果资源需求持续上升，巨额成本将由谁承担的关键问题。报告旨在梳理未来可能出现的各种融资情景，探讨在不同条件下，政府和私营部门各自可能扮演的角色及相应的融资模式，为政策制定者和私营机构在人工智能发展资金投入方面提供决策参考。启元洞见编译了其中的核心内容，供读者参考学习。
一、问题界定
自2018年以来，人工智能开发者一直在创建功能广泛的基础模型——这些模型在大型多样化数据集上进行训练，能够适应并执行多种任务。其中最先进的模型，如OpenAI的GPT系列和Anthropic公司的Claude，在短短几年内迅速改进，并在特定任务中展现出令人印象深刻的性能。然而，它们也消耗着呈指数级增长的资源，如电力和先进计算机芯片。如果资源需求的增长持续下去，谁将为这巨额成本买单？
（一）现有先进机器学习模型的训练成本估算
创建基础模型最关键的步骤是训练。在此阶段，开发者输入大量训练数据（通常是人类编写的文本），并执行复杂的计算，最终生成一个能够产生与训练数据相似输出的人工智能模型。训练阶段成本高昂，但原则上只需执行一次。训练完成后，终端用户可以通过与训练模型交互来获得输出，这一过程称为推理。
运行先进的大型机器学习（ML）模型需要高度专业化的硬件，其中最重要的是人工智能加速器，如图形处理单元（GPU）。GPU最初为视频游戏等应用快速处理计算机图形而开发，因其高效执行高度并行化操作的能力，在ML应用中广泛使用。2023年，全球60%至70%的人工智能服务器使用了美国英伟达（NVIDIA）公司设计和销售的GPU。NVIDIA A100系列芯片是现代ML应用中最重要的GPU之一，2023年每片售价在10000至20000美元之间。
OpenAI的GPT-3模型，据估计在2020年于微软Azure数据中心使用10,000块NVIDIA V100芯片训练了15天。这次训练运行的成本估计至少为160万美元，更可能约为460万美元，尽管研究人员后来证明，到2022年底，可以用不到50万美元实现类似性能。关于OpenAI最先进的基础模型GPT-4的技术数据很少。然而，一项广为引用的分析估计，GPT-4的最终训练（可能在2022年完成）需要25000块NVIDIA A100芯片运行90至100天，仅计算方面的成本就高达6300万美元。该分析估计，同样的训练在2023年使用8200块H100芯片运行55天，成本为2150万美元。
同一分析估计，GPT-4的推理成本约为每页对话0.0014美元。截至2024年3月，OpenAI对GPT-4默认版本的收费约为每页对话0.03美元，这意味着21倍的利润标记。
谷歌（Google）并未公布其领先基础模型Gemini Ultra的训练费用，但人工智能研究机构Epoch AI估计谷歌在硬件采购上花费了2.6亿至20亿美元。
（二）机器学习模型训练计算需求的前期增长率
区分ML模型高昂的一次性训练成本与显著较低（但频繁重复）的查询模型成本（即模型推理）非常重要。训练GPT-3模型所需的计算资源与查询该模型直至其生成约6750亿词（约30亿页）输出所需的计算资源大致相当。然而，由于用户数量庞大，用于运行ML模型的大部分计算资源估计都用于推理而非训练。NVIDIA和亚马逊网络服务均估计，约90%的ML相关操作用于推理，仅10%用于训练。
公开信息中，训练成本的计算资源数据比推理成本更容易获得。这些信息显示，自2010年深度学习复兴以来，用于训练最先进ML模型的计算资源成本呈爆炸性增长。Sevilla等人研究了自2010年以来开发的80个被认为是“里程碑式”ML模型的计算资源需求，发现训练这些模型所需的浮点运算次数（FLOP）呈指数级增长，大约每5.7个月翻一番。Hobbhahn和Besiroglu研究发现，每秒可执行的FLOP成本呈指数级下降，大约每2.5年减半，但Lohn和Musser发现这些成本自2017年以来已基本趋于平稳。
正如Heim在2023年指出的，这两个趋势共同意味着训练模型所需的计算资源量增长速度远快于计算成本的下降速度。即便在对2022年计算成本下降的相当乐观评估下，每训练一个模型的成本仍在迅速增加，每年增长超过两倍。这种趋势不可能持续太多年；Heim指出，如果持续下去，到2036年，训练一个尖端模型将需要美国全年GDP。
Cottier在2023年更详细的分析估计，所有“里程碑式”ML系统的训练成本每年增长175%至224%。超大规模模型的训练成本增长较慢，每年增长58%。Cottier总结道，“近期的增长支出可能会在2020年代大幅放缓。”Lohn和Musser同样预测，训练成本的增长将在“远早于2026年”时趋于平稳。
（三）可能限制计算能力的其他因素
除了成本，硬件可用性也是一个问题。Lohn和Musser估计，每年最多向数据中心销售3500万个人工智能加速器芯片。如果加速器需要在三年后更换，现有的增长趋势在短期内也可能无法维持。
NVIDIA的芯片全部由台湾积体电路制造股份有限公司（简称台积电，TSMC）制造。2021年的全球微芯片短缺映射出供应脆弱的问题。但当前多国正投资数十亿美元用于国产微芯片生产，这可能在长期内缓解供应限制的问题。
数据中心巨大的电力需求也可能最终对现有电网的发电能力构成压力。微软最近聘请专员负责将小型模块化核反应堆整合到其人工智能数据中心。
一些人也对ML训练和推理所用能源的环境影响表示担忧。据统计，GPT-3的训练约排放了552公吨二氧化碳当量（tCO2e）。
（四）增加计算投入是否能持续提升性能？
近年来，随着开发者投入越来越多的计算资源训练更大的模型，大语言模型（LLM）的能力大幅提升。进一步增加计算资源是否会继续提升训练模型的性能？这个技术问题的答案对于确定未来硬件趋势至关重要。
对于当今大语言模型最流行的Transformer架构，用于分析性能与生产投入函数关系的标准分析框架被称为“缩放定律”（scaling laws）。根据经验，Transformer LLM的性能在模型参数数量和训练数据集大小这两个主要输入变量上表现出简单的数学依赖性。然而，2023年的研究表明，性能依赖于这些输入的方式可能不像以前认为的那么简单。
大语言模型面临的最大问题之一是它们倾向于编造或“幻觉”出不存在的虚假事实和参考文献。测试表明，GPT-4的幻觉率为3.0%，而GPT-3.5的幻觉率为3.5%。从不同角度看，这可能被视为在计算资源增加约100倍的情况下，回报显著或微不足道。
还有两个更具体的技术挑战可能会限制额外计算对训练基础模型带来的边际效益。首先是人工智能开发者可能耗尽高质量训练数据。2024年公开可用的最大的大语言模型训练数据集Dolma约4.3 TB，而2023年11至12月的Common Crawl档案约500TB。人工智能开发者可能会在2026年至2032年之间耗尽高质量文本训练数据。其次，未来的大语言模型可能会在包含大量先前大语言模型生成的文本的数据集上进行训练，导致“模型崩溃”，即新训练模型的质量严重下降。
OpenAI首席执行官Sam Altman曾声称，仅仅扩大现有范式不太可能带来显著进展，并且“我们正处于（日益增大的）巨型模型时代的终结”。但无论是否会继续按数量级增长，用于训练最大的大语言模型的计算资源无疑至少在近期内会继续增长。
二、经济理论
本节提供了一个理论框架，描述了投资日益复杂的基础模型初始开发和训练的潜在情景。我们关注两类潜在资金来源：私人融资和政府融资，并考虑混合模式、慈善融资以及可能没有可行资金来源的情况。
（一）私人融资的盈利能力
私营部门只有在盈利的情况下才能可持续地资助未来基础模型的开发和训练。现有基础模型的盈利能力难以确定。截至撰写本文时，领先的基础模型估计训练成本在6300万美元到20亿美元之间。未经证实的报告称，OpenAI在2023年10月的年化收入为13亿美元，Anthropic在2023年10月的年化收入为1亿美元，并内部预测到2024年底年化收入将达到8.5亿美元。
这些未经证实且具有推测性的收入和成本估计给基础模型开发的盈利能力带来了巨大的不确定性。
这种盈利能力的可持续性如何？ChatGPT于2022年11月向公众发布时，确实引发了终端用户兴趣的爆炸式增长。但此后出现了一些兴趣降温的迹象。此外，微软将GPT-4整合到其必应（Bing）搜索功能中，但这并未导致Bing的使用量的显著增加。然而，到2023年11月，ChatGPT网站的流量再次回升。
如果成本将呈指数级增长的说法是正确的，那么收入也必须以类似的速度增长才能使此类投资保持盈利。尚不清楚有多少收入来自个人终端用户，有多少来自在基础模型之上构建自己应用的其他公司。人类与这些服务互动的时间存在实际限制，这将阻止广告收入的无限扩展。此外，开发者或用户最终可能因此类模型的输出或基于它们的行为而面临社会或法律责任。
（二）未来可能融资情景框架
我们将探讨四种主要的融资情景类别：停滞融资（人工智能寒冬）、私人融资、政府与私人联合融资以及纯政府融资。
图1 可能的融资情景框架
*注：图中横轴为政府兴趣，纵轴为私人兴趣。左下角区域为“人工智能寒冬”，左上角区域为“私人开发”，右上角弯曲区域为“联合开发”，右下角区域为“政府开发”。
1. 人工智能寒冬（AI Winter）
如果私营部门、政府和其他参与者的兴趣都过低，不足以证明进一步开发基础模型所需的高昂费用，那么基础模型的新融资将会停止。这通常被称为人工智能寒冬，因为它会严重阻碍人工智能能力的进一步发展。
2. 私人融资基础模型的开发与治理（Private Funding of Foundation Model Development and Governance）
政府兴趣不高但私营部门兴趣充足，将导致私营部门继续提供开发未来基础模型所需资金的情景，正如迄今为止在美国所见。美国公司已经在基础模型训练上花费了数千万甚至数十亿美元。
3. 政府与私人联合融资基础模型的开发与治理（Joint Private-Government Funding of Foundation Model Development and Governance）
私营部门和政府对人工智能的研发和发展（R&D）的充分兴趣，最终可能产生私营部门和政府合作融资的情景。其中一个例子是联合基础设施项目，如提议的美国国家人工智能研究资源（NAIRR），旨在创建一个国家级基础设施，为人工智能研究提供计算资源、数据、技术专长和教育资源。该试点项目已于2024年1月启动。
4. 政府资助基础模型的开发与治理（Government Funding of Foundation Model Development and Governance）
政府兴趣充足而私营部门兴趣不高，将导致政府直接资助基础模型的开发，并可能拥有这些模型甚至包括国有化，例如核聚变研究或欧洲核子研究组织（CERN）。一些人工智能专家已经呼吁建立一个“人工智能界的CERN”。
三、结论
目前领先的基础模型训练成本估计在6300万美元到20亿美元之间，运行成本更高。自2010年以来，训练领先模型的成本每年增长约58%，这一趋势不可能再持续很多年。未来成本的增长取决于多种不可预测的因素，包括增加计算带来的未来边际性能回报、更高效训练算法的开发、GPU的可用性、高质量训练数据的可用性以及各种政治和社会因素。
迄今为止，私营企业通过外部资本和内部研发投资相结合的方式，在资助最先进基础模型开发方面处于领先地位。其商业模式和盈利能力仍不清楚。如果私营部门无法承担或满足相关法律社会规范，政府可能会介入直接资助新基础模型的开发，并可能施加更高程度的控制。
即使是领先基础模型巨大的（估计）成本，与私营公司在成熟行业（如云计算或石油天然气开采）项目上的最大资本投资相比，仍然只占一小部分。因此，私营公司在达到其极限之前，可能仍有相当大的财务空间来增加其在人工智能模型开发上的投资。
此外，这些模型的成本（估计）仍然只占政府资助的科学研究项目（如阿波罗计划、大型强子对撞机或国际空间站）投资的一小部分。如果未来的基础模型展现出仅靠私营部门无法释放的重大经济或其他国家价值，那么政府主导如此规模的投资也并非完全没有先例。另一种可能的未来是公私合作伙伴关系模式，类似于机场和美国国家实验室的现有模式。例如，2024年1月启动的NAIRR试点项目，就是对人工智能开发的公私合作伙伴关系最终可能形态的一个小型展示。
免责声明：本文转自启元洞见。文章内容系原作者个人观点，本公众号编译/转载仅为分享、传达不同观点，如有任何异议，欢迎联系我们！
编辑丨启元洞见
研究所简介
国际技术经济研究所（IITE）成立于1985年11月，是隶属于国务院发展研究中心的非营利性研究机构，主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题，跟踪和分析世界科技、经济发展态势，为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号，致力于向公众传递前沿技术资讯和科技创新洞见。
地址：北京市海淀区小南庄20号楼A座
电话：010-82635522
微信：iite_er