IT之家 6 月 5 日消息，像 OpenAI 的 ChatGPT、谷歌的 Gemini Ultra 这样的高级 AI 模型，训练它们通常需要数百万美元的费用，且该成本还在迅速上升。
随着计算需求的增加，训练它们所需的计算能力的费用也在飙升。为此，AI 公司正在重新考虑如何训练这些生成式 AI 系统。在许多情况下，这些策略包括在当前的增长轨迹下降低计算成本。
训练成本是如何确定的？
斯坦福大学与研究公司 Epoch AI 合作，根据云计算租金估算了 AI 模型的训练成本。双方所分析的关键因素包括模型的训练时长、硬件的利用率和训练硬件的价值。
尽管许多人猜测，训练 AI 模型的成本变得越来越高，但缺乏全面的数据来支持这些说法。而斯坦福大学发布的《2024 年 AI 指数报告》正是支持这些说法的罕见来源之一。
不断膨胀的训练成本
下表展示了自 2017 年以来，经通胀调整后的主要 AI 模型的培训成本：
去年，OpenAI 的 GPT-4 培训成本估计为 7840 万美元，远高于谷歌 PaLM （540B） 的训练成本。谷歌 PaLM 较 GPT-4 仅早一年推出，但训练成本为 1240 万美元。
相比之下，2017 年开发的早期 AI 模型 Transformer.的训练成本为 930 美元。该模型在塑造当前所使用的许多大型语言模型的体系结构方面起着基础性作用。
谷歌的 AI 模型 Gemini Ultra 的训练成更高，达到了惊人的 1.91 亿美元。截至 2024 年初，该模型在几个指标上都超过了 GPT-4，最引人注目的是在“大规模多任务语言理解”（MMLU）基准测试中胜出。这一基准是衡量大型语言模型能力的重要标尺。例如，它以评估 57 个学科领域的知识和解决问题的熟练程度而闻名。
训练未来的 AI 模型
鉴于这些挑战，AI 公司正在寻找新的解决方案来训练语言模型，以应对不断上涨的成本。
其中的方法有多种，比如创建用于执行特定任务的较小模型，而其他一些公司正在试验创建自家的合成数据来“投喂”AI 系统。但到目前为止，这方面还没有取得明确的突破。
例如，使用合成数据的 AI 模型有时会“胡言乱语”，引发所谓的“模型崩溃”。
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。
相关文章
