高质量数据:大模型竞争的下一站

  尽管OpenAI下一代旗舰模型的上线时间还是未知数,但多方消息指向同一个可能性:性能没那么大飞跃了。来自OpenAI的员工和研究人员表示,高质量文本和其他数据的供应不足是GPT模型性能减速的原因之一。

  国内有关数据的讨论也从未降温,仅这半个月,月之暗面创始人杨植麟说,“当Scale(规模差不多时,更多算力可能并不一定能直接解决问题,核心是高质量的数据没那么多了”,蚂蚁数科索性上线了全新的AI数据合成品与生产平台。

  猎豹移动董事长兼CEO、猎户星空董事长傅盛更直白,他要捅破窗户纸,“大模型行业竞争,真正的竞争壁垒来自于数据”,猎豹移动则联合旗下的聚云科技于近日推出数据服务产品“AI数据宝AirDS”。顶级模型成长放缓是好是坏?怎么平衡人工和机器做数据标注成本?猎豹移动高管团队向北京商报记者开诚布公。

  卡在数据上

  开发过程中,OpenAI的最新模型Orion(猎户座未能达到预期的性能,谷歌的Gemini模型以及Anthropic的Claude3.5 Opus也都遇到了瓶颈,在业内人士看来,三家似乎都面临相似的问题:越来越难以获得高质量数据。

  有关Scaling law(规模定律是否失效的问题又一次被抛给大模型从业者。

  用OpenAI一篇论文中的定义,所谓Scaling law,是指大模型的最终性能主要与计算量、模型参数量和训练数据量三者的大小相关,而与模型的具体结构(层数/深度/宽度基本无关。换言之,仅仅增加模型规模和训练数据,就能显著提升人工智能能力,而无需取得根本性的算法突破。

  “没人能下这个结论,”傅盛话锋一转,“从客观事实看,顶级模型的能力和成长,肯定是放缓的,Scaling law不一定放缓了,但受限于数据的容量,不是说芯片和算法不重要,而是大家在这两点上很难作出差异化。”

  一种解决方案是合成数据,Epoch AI Research研究团队预测,“到2026年,现存的用于AI模型训练的高质量语言数据将耗尽”。

  “未来的AI应用需要大量稀缺且难以获取的长尾数据,如自动驾驶中的极端天气与极端路况数据,具身智能训练所需要的复杂场景数据。在此背景下,数据合成将成为关键”,蚂蚁数科AI科技技术负责人、蚂蚁天玑实验室主任李哲持以上观点。

  “合成数据确实是一个很重要的补充,但仅仅使用合成数据肯定是不够的”,猎户星空首席科学家韩堃告诉北京商报记者。猎豹移动将重点放在大模型数据服务上,AI数据宝AirDS提供数据收集、清洗、标准、提示词工程及评估等服务。

  只会“拉框”远远不够

  以数据标注为例,“上一代数据标注趋向于常见的检测、识别和固定化、规则化的任务,这些标注相对来说比较明确,比如依照视频找物体,根据语音找文字。但在大模型时代,企业应用是多种多样的”,猎豹移动高级副总裁孙明焱向北京商报记者举例,“比如客户希望用大模型查数据库,希望让大模型画组织架构图,这种需求找一个标注人员来做是挺难的”。

  用傅盛的话说,大模型让数据标注和服务走向一体化,“光雇人标人脸的时代已经适应不了现在的需求了。没有做过大模型、大模型应用的企业,要构建这套体系需要时间”。

  人工和机器间的平衡,也没有特定的套路。

  “数据服务肯定是需要人工的,但大模型时代会大量借鉴AI模型和工具来提高数据标注的效率,”韩堃进一步说,“如果所有的数据服务都通过人工服务,标注或清理的速度肯定跟不上,成本也非常大,但要产出高质量的数据,仅通过模型肯定是不够的。我们在自己训练模型的过程中发现,数量和质量的平衡点非常微妙,要通过大量实践才能找到,一个既保证数量,质量又非常高的点。而这个点跟企业的目标相关,做预训练、微调或者应用,对于数量和质量的要求是不太一样的。”

  2025年应用会繁荣

  除了猎豹移动,蚂蚁数科也采用人机协同模式。北京商报记者了解到,在数据标注方面,蚂蚁数科AIGD平台通过人机协同进行标注,人工智能算法能够自动识别和预处理大部分基础信息,预标注模型依赖人工标注量降低了70%以上。

  客户需求决定市场,市场永远是动态的。站在客户的角度,“大模型标注更多是在应用层发挥大模型的能力”,猎豹移动副总裁童宁透露。

  他分享了一个有关读取PDF信息的案例,“因为合同的种类有很多种,最初客户认为大模型读取PDF形式合同的正确率到80%就上不去了。后来我们做了POC(概念验证,通过一个智能体理解上下文,调整成一些更优质的提示词。这个流程中,标注团队的能力体现在根据场景设计一套智能体系中间的工作流,并对应成能够输出的高精度的提示词”。

  这些都是大模型应用落地需要解决的问题,即大模型商业化的“最后一公里”。

  “猎豹移动不靠大模型挣钱,也不靠模型接口调取量挣钱,而是通过应用去赚钱,”傅盛认为,“现在可能没有特别顶级的应用出来,2025年大模型应用的繁荣是可见的。”

  他以OpenAI为例,“最近萨姆·奥尔特曼(OpenAI CEO接受采访,人家问他OpenAI最缺什么,他说我们最缺产品。OpenAI也是把产品能力、应用能力加强了,最近半年内推出的功能都是应用在做的。所以我认为,2025年应该是大模型大繁荣的一年”。

本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 support1012@126.com 举报,一经查实,本站将立刻删除。
标签: /
上一篇2024-12-21
下一篇 2024-12-21

相关推荐

  • 灰度迷你比特币信托自推出以来净流入超10亿美元

    灰度宣布旗下迷你比特币信托(BTC)2024 年净流入超过 10 亿美元。截至 12 月 17 日,该 ETF 资管规模超过 40 亿美元。 7 月份,灰度从其较旧的 BTC 和 ETH 基金中分拆出

    2024-12-21 02:03:44
    2022
  • 去年以工代赈吸纳就业总数同比增长31%

    2024年,国家发展改革委支持各地围绕农村小微型基础设施实施2726个以工代赈项目,吸纳36万名农村脱贫人口等低收入群众务工。各地围绕交通水利、农业农村、生态建设、

    2024-12-21 02:03:44
    2002
  • 2025年春风行动已举办4.1万场招聘活动

    人力资源社会保障部今天(3月13日)发布数据,截至3月5日,全国已累计举办各类招聘活动4.1万场,发布岗位3100万个;发出务工人员专车、专列、包机2.9万辆(列、架)次,输送劳

    2024-12-21 02:03:44
    2001
  • 落实增储任务、加强精益管理 中央储备粮安全保障能力增强

    增加小麦、玉米等品种收储规模,跨地区平衡、跨周期调节能力和应急保供水平进一步提升。不断加强储粮精益化管理,中央战略储备粮综合储存损耗率持续控制在1%以内。

    2024-12-21 02:03:44
    2001
  • 被动投资“大时代”来临!

    有公募人士认为,ETF大发展因素较为复杂,核心原因是曾经追捧主动权益明星基金经理的基民,大家的投资体验都不太好,进而也对主动权益的超额创造能力产生了一些质疑,因此

    2024-12-21 02:03:44
    2001
  • 证监会:权益类ETF规模突破3万亿元大关

    证监会19日发布的公告称,今年9月,证监会会同中央金融办出台了推动中长期资金入市的指导意见,着力打通社保、保险、理财等资金入市的堵点痛点,建设培育鼓励长期投资的

    2024-12-21 02:03:44
    2001
  • 宝莱特:前10个月已回购297.06万股股份 耗资2000万元

    针对产品研发和新业务布局,宝莱特还表示,2023 年,公司推出了S系列输注液 泵、电子尿量计量仪、遥测监护系统等全新系列产品,目前公司紧密推进G系列监护仪、CRRT、AED

    2024-12-21 02:03:44
    2001
  • 今年前10月新疆霍尔果斯口岸进出口货运量超3800万吨

    视频无法播放,请升级浏览器至最新版。 据霍尔果斯海关统计,霍尔果斯口岸今年前10月进出口货运量达3801.1万吨,同比增加10%。 从商品种类来看,进口商品主要为机电产品

    2024-12-21 02:03:44
    2001