如何训练一个人工智能模型

人工智能模型的训练是当代技术发展中最复杂的挑战之一。这远不止是一个简单的算法问题,有效训练一个模型需要一种系统性、多学科的方法,融合数据、数据科学、领域知识和软件工程。正如James Luke在其重要著作《Beyond Algorithms: Delivering AI for Business》中所指出的那样,人工智能实施的成功更多取决于数据管理和系统设计,而非算法本身。这一领域正在快速演变,DeepSeek-R1等创新模型正在重新定义成本和可获取性。

基础：数据收集和管理

质量而非数量

与人们通常认为的相反，数据的数量并不总是成功的决定因素。数据的质量和代表性更为重要。因此，整合不同的数据源至关重要：

• 专有数据:从现有实施中以合乎道德的方式收集和匿名化的数据
• 授权数据:来自符合严格质量标准的可靠供应商的数据
• 开源数据集:经过仔细核实,以确保多样性和准确性
• 合成数据:人工生成,用于填补空白和解决隐私问题

这种整合创建了一个全面的培训基地，既能捕捉真实世界的场景，又能维护道德和隐私标准。

数据准备的挑战

数据处理 "过程占人工智能项目所需工作量的 80%。这一阶段包括

• 数据清洗:消除不一致、重复和异常值
• 数据转换:转换为适合处理的格式
• 数据集成:融合往往使用不兼容架构和格式的不同来源
• 缺失数据处理:采用统计插补或代理数据等策略

正如美国运通首席技术官Hilary Packer所强调的:“坦白说,我们的顿悟时刻就是数据。你可以做出世界上最好的模型选择……但数据才是关键。验证和准确性是当前生成式人工智能领域的圣杯。”

模型结构：正确的尺寸

模型架构的选择必须以要解决的问题的具体性质为指导，而不是以个人倾向或喜好为指导。不同类型的问题需要不同的方法：

• 基于transformer的语言模型,用于需要深度语言理解的任务
• 卷积神经网络,用于图像和模式识别
• 图神经网络,用于分析实体间的复杂关系
• 强化学习,用于优化和决策问题
• 混合架构,结合多种方法应对复杂应用场景

架构优化需要对不同配置进行系统评估，重点是平衡性能和计算要求，而随着 DeepSeek-R1 等模型的出现，这一点变得更加重要，因为这些模型能以更低的成本提供先进的推理能力。

先进的培训方法

蒸馏模型

在当前的人工智能生态系统中，"蒸馏 "已成为一种特别强大的工具。这一过程可以创建更小、更具体的模型，这些模型继承了 DeepSeek-R1 等更大、更复杂的模型的推理能力。

正如DeepSeek案例所示,该公司已将自身的推理能力提炼到多个更小的模型中,包括Meta的Llama系列和阿里巴巴的Qwen系列等开源模型。这些更小的模型随后可以针对特定任务进行优化,从而加速了向快速、专业化模型发展的趋势。

机器学习开发人员 Sam Witteveen 认为："我们开始进入一个人们使用多种模型的世界。他们不会一直只使用一种模型"。这包括 Gemini Flash 和 GPT-4o Mini 等低成本封闭模型，它们 "在 80% 的使用案例中都能很好地发挥作用"。

多任务学习

多任务学习允许模型在不同功能之间共享知识，而不是针对相关技能训练单独的模型：

• 模型同时针对多个相关目标进行优化
• 基础功能因接触更广泛多样的任务而受益
• 各项任务的性能均有提升,尤其是数据有限的任务
• 由于组件共享,计算效率得以提高

监督微调 (SFT)

对于在非常特殊的领域开展业务的公司来说，由于网络或通常用于训练语言模型的书籍中没有广泛的信息，有监督微调（SFT）是一种有效的选择。

DeepSeek 证明，使用 "成千上万 "的问答数据集也有可能取得好成绩。例如，IBM 工程师克里斯-海（Chris Hay）展示了他如何使用自己的数学特定数据集建立一个小型模型，并以极快的速度获得答案，其性能超过了 OpenAI 的 o1 模型在相同任务上的表现。

强化学习 (RL)

希望进一步根据特定偏好训练模型的公司--例如，让客户支持聊天机器人富有同情心但又简洁明了--会希望采用强化学习（RL）技术。如果公司希望聊天机器人根据用户反馈调整语气和建议，这种方法就特别有用。

检索-增强生成（RAG）

对于大多数公司来说，检索-增强生成（RAG）是最简单、最安全的途径。这是一个相对简单的过程，企业可以利用数据库中的专有数据锚定其模型，确保输出结果准确无误且针对特定领域。

这种方法也有助于缓解DeepSeek等模型存在的一些幻觉问题——根据Vectara进行的一项研究,相较于OpenAI的o3模型8%的幻觉率,DeepSeek目前的幻觉率为14%。

对于大多数公司来说，模型提炼和 RAG 的结合是神奇之处，即使是那些在数据科学或编程方面技能有限的人也能轻松实现。

评估和改进：超越准确度指标

有效的人工智能不仅要以原始精度来衡量，还需要一个全面的评估框架，其中要考虑到：

• 功能准确性:模型产生正确结果的频率
• 鲁棒性:在不同输入和条件下性能的一致性
• 公平性:在不同用户群体和场景中表现的一致性
• 校准度:置信度分数与实际准确性之间的匹配程度
• 效率:计算和内存需求
• 可解释性:决策过程的透明度,这正是DeepSeek蒸馏模型的出色之处,它们能够展示自身的推理过程

成本曲线的影响

DeepSeek 的发布带来的最直接影响是其积极的降价。技术行业预计成本会随着时间的推移而下降，但很少有人预料到降价会如此之快。DeepSeek 证明，功能强大的开放式模型可以既便宜又高效，为广泛试验和经济高效的实施创造了机会。

Vectara 首席执行官阿姆尔-阿瓦达拉（Amr Awadallah）强调了这一点，他指出，真正的临界点不仅仅是训练成本，还有推理成本，DeepSeek 每个令牌的推理成本约为 OpenAI 的 o1 或 o3 模型的 1/30。"Awadallah说："OpenAI、Anthropic和谷歌双子星能够获得的利润现在至少要减少90%，因为它们无法在如此高的价格下保持竞争力。

不仅如此，这些成本还将继续降低。Anthropic 首席执行官达里奥-阿莫代（Dario Amodei）最近表示，开发模型的成本将以每年约四倍的速度持续下降。因此，LLM 供应商的收费标准也将继续降低。

"我完全预计成本将降至零，"Intuit首席数据官Ashok Srivastava表示，该公司大力将AI推向其TurboTax和Quickbooks等税务和会计软件产品中。"……延迟也将降至零。它们将仅仅成为我们可以使用的基础能力。"

结论：企业级AI的未来是开放的、经济的，并由数据驱动

OpenAI 的 DeepSeek 和 Deep Research 不仅仅是人工智能武器库中的新工具，它们还是一场深刻变革的标志，在这场变革中，公司将部署大量专门构建的模型，这些模型成本效益极高、能力出众，并且植根于公司自身的数据和方法。

对企业而言，信息很明确：构建强大的特定领域AI应用的工具已触手可及。如果不利用这些工具，就有落后的风险。但真正的成功将取决于如何整理数据、如何运用RAG和蒸馏等技术，以及如何在预训练阶段之外进行创新。

正如 AmEx 的 Packer 所说：能够正确管理数据的公司将引领下一波人工智能创新浪潮。