东说念主工智能离不开数据。为了历练算法以罢了预期商量，咱们需要大宗的数据，而输入到 AI 模子中的数据质料径直决定了输出效果的优劣。关系词体育游戏app平台，问题在于 AI 建造者和参议东说念主员对所使用的数据开端了解甚少。比拟于 AI 模子建造的复杂性，AI 的数据汇集试验尚不进修，大规模数据集一样缺少对于其内容和开端的详备信息。
为了处治这一问题，来自学术界和产业界的 50 多名参议东说念主员开展了数据溯源磋磨（Data Provenance Initiative）。他们建议了一个肤浅而进犯的问题：构建 AI 所需的数据究竟来自那里？为此，他们审查了近 4,000 个寰球数据集，这些数据集涵盖了 600 多种话语、67 个国度，并包含长达 30 年的数据，数据开端波及 800 个私有的渠说念和近 700 个组织。
这项参议的效果初度独家发布在《麻省理工科技批驳》上（文末附敷陈结合），揭示了一个令东说念主担忧的趋势：AI 的数据试验正在使职权过度集合于少数几家主导科技公司手中。
技俩成员、MIT 参议员 Shayne Longpre 默示，在 2010 年代初期，数据集的开打量对种种化。
这些数据不仅来自百科全书和互联网，还包括议会记载、财报电话会议以及天气敷陈等开端。Longpre 指出，在阿谁时期，AI 数据集是凭据具体任务的需求尽心规划并从不同渠说念汇集的。
关系词，2017 年，提拔诳言语模子的架构——Transformer 的出现，转变了这一切。跟着模子和数据集规模的逼迫扩大，AI 的性能显耀普及。这使得 AI 领域逐步倾向于给与更大规模的数据集。
如今，大多数 AI 数据集是通过从互联网上大规模、无永逝地持取内容构建的。自 2018 年起，互联网成为扫数媒体类型（如音频、图像和视频）数据集的主要开端。与此同期，汇集持取的数据与更为尽心规划的数据集之间的差距逐步清楚并逼迫扩大。
“在基础模子的建造中，数据的规模、异质性以及汇集开端对模子智商的影响无与伦比。”Longpre 默示。对数据规模的需求也极地面鼓舞了合成数据的等闲使用。
比年来，多模态生成式 AI 模子应时而生，这些模子大概生成视频和图像。与大型话语模子近似，它们需要尽可能多的数据，而当今最优的数据开端是 YouTube。
以视频模子为例，从图表中不错看出，超 70% 的语音和图像数据集的数据齐来自合并开端。
对 YouTube、Google 的母公司 Alphabet 来说，这可能是一个弘大的上风。与文本数据散布在辽远不同的网站和平台上不同，视频数据高度集合在单一平台。
Longpre 指出：“这使得汇集上一些最进犯的数据的戒指权高度集合在一家企业手中。”
此外，Google 本身也在建造我方的 AI 模子，这种弘大的上风激发了对于公司如何向竞争敌手提供这些数据的疑问。AI Now Institute 的融合试验主任 Sarah Myers West 默示，这值得进一步探讨。
她以为，“咱们应该将数据视为通过特定历程创造出来的东西，而不是一种当然存在的资源。”
她补充说念：“若是咱们泛泛使用的大部分 AI 所依赖的数据集反馈的是大公司、以利润为导向的企业的意图和联想，那么这将以顺应这些大企业利益的方式重塑咱们的天下基础法子。”
这种单一化也激发了对于数据集是否大概准确反馈东说念主类体验以及咱们正在构建何种模子的疑问。
Cohere 公司的参议副总裁、Data Provenance Initiative 成员 Sara Hooker 默示，“东说念主们上传到 YouTube 的视频一样是针对特定受众而制作的，视频中的当作往往带有特定的方针性。”她问说念：“这些数据是否捕捉到了东说念主类存在的扫数幽微永逝和种种性？”
AI 公司一样不会公开用于历练模子的数据开端。一方面，这是为了保护其竞争上风；另一方面，由于数据集的打包和分发历程复杂且不透明，AI 公司本身也可能无法十足了解所罕见据的具体开端。
此外，AI 公司可能不了解这些数据在使用或分享时所受到的闭幕。Data Provenance Initiative 的参议东说念主员发现，好多数据集附带有严格的许可条件或使用条件，例如，可能闭幕其在买卖用途上的运用。
“数据开端缺少一致性，使得建造者很难正确采取使用的数据。”Hooker 默示。
Longpre 补充说念，这也让建造者委果不可能十足确保他们的模子莫得使用受版权保护的数据进行历练。
比年来，像 OpenAI 和 Google 这么的公司与出书商、Reddit 等主要论坛以及酬酢媒体平台达成了独门户据分享公约。这种作念法进一步自由了它们的职权。
“这些独家合同本色上将互联网分裂为谁能探望和谁不成探望的不同区域。”Longpre 指出。
这种趋势对大概职守此类公约的大型 AI 公司成心，但对参议东说念主员、非谋利组织和微型公司则组成了不利。这些较小的参与者将难以取得必要的数据，而大型公司不仅能坚毅独家公约，还领有最刚劲的资源用于持取数据集。
“这是咱们在通达汇集向前所未见的新一波非对称性探望。”Longpre 说说念。
用于历练 AI 模子的数据也存在严重的地域偏倚。参议东说念主员分析发现，跳跃 90% 的数据集来自欧洲和北好意思，而来自非洲的数据不及 4%。
Hooker 指出：“这些数据集仅反馈了咱们天下和文化的一部分，却十足疏远了其他地区。”
用于历练 AI 模子的数据也存在严重的地域偏倚。参议东说念主员分析发现，跳跃 90% 的数据集来自欧洲和北好意思，而来自非洲的数据不及 4%。
Hooker 指出：“这些数据集仅反馈了咱们天下和文化的一部分，却十足忽略了其他部分。”
历练数据中英语的主导地位部分不错用互联网的近况来阐发。Hugging Face 的首席伦理学家 Giada Pistilli（并未参与这次参议）默示，互联网上跳跃 90% 的内容仍然是英语，而地球上好多地区的互联网攀附相配差，甚而莫得互联网。不外，她补充说，另一个原因是便利性：创建其他话语的数据集并将其他文化纳入探讨需要格外志的盘算和大宗的责任。
这种数据集的西方倾向在多模态模子中发挥得尤为赫然。Hooker 例如说，当一个 AI 模子被教唆生结婚礼的场景和声息时，它可能只可呈现出西方婚典的格式，因为它的历练数据仅限于此。
这种情况强化了偏见，可能导致 AI 模子鼓舞一种以好意思国为中心的天下不雅，从而褪色其他话语和文化的存在。
Hooker 指出：“咱们在全球范围内使用这些模子，但模子所能看见的天下与看不见的天下之间存在弘大差距。”
1.https://www.technologyreview.com/2024/12/18/1108796/this-is-where-the-data-to-build-ai-comes-from/
2.https://www.dataprovenance.org/Multimodal_Data_Provenance.pdf
