# 人工智能训练数据：助力人工智能的百亿业务

> 规模人工智能价值 290 亿美元，而您可能从未听说过它。它是训练数据的隐形产业，使 ChatGPT 和稳定扩散成为可能--这是一个 95.8 亿美元的市场，年增长率为 27.7%。自 2020 年以来，成本增长了 4300%（Gemini Ultra：1.92 亿美元）。但到 2028 年，可用的人类公共文本将耗尽。与此同时，版权诉讼和数据集中发现的数百万护照。对于公司而言：您可以从免费的 Hugging Face 和 Google Colab 开始。

Source: https://www.electe.net/zh/%E9%82%AE%E5%AF%84/i-dati-di-addestramento-ai-il-business-da-10-miliardi-che-alimenta-lintelligenza-artificiale

Site guide: https://www.electe.net/zh/llms.txt

_让ChatGPT、Stable Diffusion及其他所有现代AI系统成为可能的隐形产业_

## 人工智能最隐秘的地方

当你使用ChatGPT撰写邮件或用Midjourney生成图像时,很少会想到人工智能这场"魔法"背后究竟隐藏着什么。然而,在每一个智能回答和每一张生成图像的背后,都隐藏着一个鲜有人谈及的数十亿美元产业:**AI训练数据市场**。

据[MarketsandMarkets](https://www.marketsandmarkets.com/ResearchInsight/ai-training-dataset-market.asp)预测,这一领域将以每年27.7%的增速增长,到**2029年**将达到**9.58**[**0亿**](/computer-quantistici-la-scommessa-da-40-miliardi-su-macchine-che-ancora-non-funzionano)**美元**,是现代人工智能真正的引擎。但这个隐藏的商业模式究竟是如何运作的?

## 移动数十亿人口的隐形生态系统

### 商业巨头

在人工智能训练数据领域，有几家公司占据着主导地位，但大多数人却从未听说过它们：

**Scale AI**是该领域最[大](/ai-che-ha-fatto-il-contrario-di-quello-che-pensavamo-la-grande-sorpresa-del-2025)的公司,[市场份额达28%](https://www.leadrpro.com/blog/what-is-scale-ai-a-comprehensive-overview),在获得Meta投资后估值达到**290亿美元**。其企业客户每年支付[10万美元到数百万美元不等](https://www.leadrpro.com/blog/what-is-scale-ai-a-comprehensive-overview)的费用以获取高质量数据。

总部位于澳大利亚的**Appen**,管理着遍布170个国家、拥有[超过100万名专业人员](https://www.appen.com/)的全球网络,他们手动标注和整理AI数据。[Airbnb、约翰迪尔(John Deere)和宝洁(Procter & Gamble)](https://www.wordstag.com/Blog/ai-training-data-companies)等公司都使用其服务来"训练"自己的AI模型。

### 开源世界

与此同时,还存在一个由**LAION**(大规模人工智能开放网络)等组织主导的开源生态系统。这家德国非营利组织创建了[LAION-5B](https://laion.ai/blog/laion-5b/)数据集,其中包含**58.5亿组图文配对**,正是它使Stable Diffusion成为可能。

**Common Crawl**每月发布[数TB的原始网络数据](https://kili-technology.com/large-language-models-llms/9-open-sourced-datasets-for-training-large-language-models),用于训练GPT-3、LLaMA及众多其他语言模型。

## 人工智能的隐性成本

公众所不知道的是,训练现代AI模型的成本已经变得多么高昂。据[Epoch AI](https://epoch.ai/blog/how-much-does-it-cost-to-train-frontier-ai-models)的数据,过去八年间成本以**每年2至3倍**的速度增长。

### 实际成本实例：

- **Google Gemini 1.0 Ultra**:[约1.92亿美元](https://spectrum.ieee.org/ai-index-2025)
- **GPT-4**:[估计超过1亿美元](https://www.visualcapitalist.com/training-costs-of-ai-models-over-time/)
- **未来预测**:[到2027年将超过10亿美元](https://epoch.ai/blog/how-much-does-it-cost-to-train-frontier-ai-models)

最令人震惊的数据是什么?据[AltIndex.com](https://www.edge-ai-vision.com/2024/09/ai-model-training-cost-have-skyrocketed-by-more-than-4300-since-2020/),自2020年以来,AI训练成本**已飙升4300%**。

## 该部门面临的道德和法律挑战

### 版权问题

争议最大的问题之一涉及受版权保护材料的使用。2025年2月,特拉华州法院在[汤森路透诉ROSS Intelligence案](https://www.ropesgray.com/en/insights/alerts/2025/03/does-training-an-ai-model-using-copyrighted-works-infringe-the-owners-copyright)中裁定,AI训练可构成直接侵犯版权,驳回了"合理使用"的抗辩。

[美国版权局](https://www.skadden.com/insights/publications/2025/05/copyright-office-report)发布了一份长达108页的报告,得出结论认为某些使用方式无法以合理使用作为抗辩理由,这为AI企业可能面临的巨额授权费用铺平了道路。

### 隐私和个人数据

[《麻省理工科技评论》](https://www.technologyreview.com/2025/07/18/1120466/a-major-ai-training-data-set-contains-millions-of-examples-of-personal-data/)的一项调查显示,DataComp CommonPool这一最常用的数据集之一,包含**数百万张**护照、信用卡和出生证明的图像。该数据集在过去两年中下载量超过200万次,这引发了严重的隐私问题。

## 未来：稀缺与创新

### 峰值数据问题

专家预测,到[2028年,网上可用的人类公开生成文本将大部分被使用殆尽](https://epoch.ai/trends)。这种"数据见顶"的情景正推动企业转向创新解决方案:

- **合成数据**:人工生成训练数据
- **许可协议**:如OpenAI与《金融时报》之间的[战略合作](https://www.monda.ai/blog/ultimate-list-of-data-licensing-deals-for-ai)
- **多模态数据**:文本、图像、音频和视频的结合

### 新法规即将出台

[加州AI透明度法案](https://www.jacksonlewis.com/insights/year-ahead-2025-tech-talk-ai-regulations-data-privacy)将要求企业披露用于训练的数据集,而欧盟也正在其《AI法案》中实施类似的要求。

## 意大利企业的机遇

对于希望开发人工智能解决方案的公司来说，了解这一生态系统至关重要：

### **预算友好型选择:**

- **Hugging Face**: [超过5万个免费数据集](https://blog-ai.digital/artificial-intelligence/hugging-face-your-gateway-to-the-world-of-ai)
- **开源数据集**: Common Crawl、LAION、MS COCO,适用于实验性项目

### **企业级解决方案:**

- **Scale AI** 和 **Appen**,适用于关键任务项目
- **专业服务**: 如Nexdata专注NLP,或FileMarket AI专注音频数据

## 结论

人工智能训练数据市场价值 95.8 亿美元，并以每年 27.7% 的速度增长。这一隐形产业不仅是现代人工智能的引擎，也是当代最大的道德和法律挑战之一。

在下一篇文章中，我们将探讨企业如何具体进入这个世界，并提供一份实用指南，帮助企业利用当前可用的数据集和工具开始开发人工智能解决方案。

对于那些现在就想了解更多信息的人，我们编制了一份详细的指南，其中包括实施路线图、具体成本和完整的工具堆栈--可通过订阅newsletter免费下载。

**立即上手的实用链接:**

- **开发环境**: [Google Colab](https://colab.research.google.com/)(免费,含GPU)
- **开源数据集**: [Hugging Face Datasets](https://huggingface.co/datasets)
- **标注工具**: [Label Studio](https://labelstud.io/)(免费)
- **快速部署**: [Gradio](https://gradio.app/) + [HF Spaces](https://huggingface.co/spaces)
- **实践课程**: [Fast.ai](https://course.fast.ai/)(免费,注重实操)

**技术资料来源:**

- [Hugging Face Documentation](https://huggingface.co/docs)
- [PyTorch Tutorials](https://pytorch.org/tutorials/)
- [TensorFlow Guides](https://www.tensorflow.org/tutorials)
- [Papers With Code](https://paperswithcode.com/)(SOTA模型+数据集)
- ‍

_不要等待“AI革命”的到来。亲手创造它。从今天起一个月后,当其他人还在规划的时候,你可能已经拥有了第一个可运行的模型。_