“一本正经胡说八道”:AI幻觉到底有多可怕?

  在享受AI带来便捷的同时,你是否发现这个问题挥之不去——AI幻觉,一种“看似真实、实则虚构”的内容生成现象,正渗透进我们的生活。它到底是通往更强大智能的阵痛,还是技术发展的“魔性副产物”?未来,AI幻觉能否为我所用?

  幻觉乱象,层出不穷

  AI大模型固然“聪明”,但在“胡说八道”方面也毫不逊色。虚构引用、杜撰人物、逻辑混乱,在与AI的互动中屡见不鲜。

  例如,它会引用一篇根本不存在的“2023年哈佛研究”;或者,为并不存在的“诺贝尔物理学奖得主约翰·史密斯”编织一段“量子物理贡献”的叙述。有时候,它甚至会在你一再否认其内容后“动摇立场”,反复修改说法。

  中新网记者在测试中还发现,AI模型在面对较为复杂的推理问题时,可能“宕机”或自相矛盾。而当你编造出一个根本不存在的概念,比如“高数几何睡眠法”,它也会一本正经地回答:“这是一种将睡眠科学与高等数学相结合的个性化学习策略……”——说得头头是道。

  某大模型截图。

  当中新网记者输入自己的名字请AI大模型进行介绍,还出现了一名乍看上去完全合理,但其实完全不存在的人,可以说除了“记者”是真的,其他全是假的。

  AI大模型介绍的记者身份,职业生涯背景等均为虚构。

  技术问题,还是认知演进?

  “AI幻觉就是生成看起来像真的一样的虚假信息。”互联网行业从业者、58同城CEO姚劲波接受中新网采访认为,它当然需要治理,但现阶段还未构成决定性风险。“互联网发展这么多年,虚假信息仍然很多,没有被彻底消除,但网友的识别能力也越来越高。我认为AI领域也一样,随着用户教育的积累,越来越多的网友自己可以分辨出AI幻觉。”

  不过,并非所有从业者都如此乐观。科大讯飞董事长刘庆峰曾指出,生成式AI的幻觉问题不仅关乎内容真假,更可能形成算法偏差的恶性循环——虚假内容被AI再次学习、放大,反复再生产。

  但值得注意的是,AI幻觉在部分场景中却意外成了创作“灵感来源”。游戏开发、动漫设计、小说创作等领域,恰恰欢迎那种“不合常理”的奇思妙想。比如AI生成的创意图片不少是违反自然规律的,但这不影响创意图的效果。

  一位不愿具名的开源大模型社区负责人坦言:“今年的大模型比往年更好,就是因为产生了一部分想象力的创作。”

  治理AI幻觉,路径几何?

  如何治理AI幻觉?技术手段正在快速跟进。一方面,企业正在为大模型接入权威知识库或实时搜索能力,使其答案更具事实依据;另一方面,“标注AI生成内容”也成为监管部门推动的方向。

  上述开源大模型社区负责人就表示,AI大模型如今引入联网搜索,各个平台也在用算法和工程解决一部分幻觉问题。

  中国工程院院士张亚勤近日表示,幻觉在横向模型里会越来越少,但是它不会消失,这是生成式AI的特点。要消失的话,一定需要具体到某个行业时,用更精准的数据和更精准的模型结合起来,才会达到效果。

  多位科技领域企业家也提出了相应对策。360集团创始人周鸿祎强调企业模型需对接专有知识库进行校正,刘庆峰则建议,要定期清理模型中的“幻觉数据”。

  零一万物CEO李开复则认为,“联网搜索能力”是降低AI幻觉的关键路径,但现实操作中并不轻松。每个企业都有自己的数据库、CRM、ERP系统,联网不是难,而是难以实时、完整。这方面还需继续突破。

  政策层面也已展开行动。近日,国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布《人工智能生成合成内容标识办法》(以下简称《办法》。

  《办法》聚焦人工智能“生成合成内容标识”关键点,通过标识提醒用户辨别虚假信息,明确相关服务主体的标识责任义务,规范内容制作、传播各环节标识行为,将于2025年9月1日起施行。

  国家互联网信息办公室有关负责人介绍,《办法》重点解决“哪些是生成的”“谁生成的”“从哪里生成的”等问题,推动由生成到传播各环节的全流程安全管理,力争打造可信赖的人工智能技术。(完

申杨本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 support1012@126.com 举报,一经查实,本站将立刻删除。
标签: /
上一篇2025-04-01
下一篇 2025-04-01

相关推荐

  • 灰度迷你比特币信托自推出以来净流入超10亿美元

    灰度宣布旗下迷你比特币信托(BTC)2024 年净流入超过 10 亿美元。截至 12 月 17 日,该 ETF 资管规模超过 40 亿美元。 7 月份,灰度从其较旧的 BTC 和 ETH 基金中分拆出

    2025-04-01 22:02:33
    2022
  • 去年以工代赈吸纳就业总数同比增长31%

    2024年,国家发展改革委支持各地围绕农村小微型基础设施实施2726个以工代赈项目,吸纳36万名农村脱贫人口等低收入群众务工。各地围绕交通水利、农业农村、生态建设、

    2025-04-01 22:02:33
    2002
  • 2025年春风行动已举办4.1万场招聘活动

    人力资源社会保障部今天(3月13日)发布数据,截至3月5日,全国已累计举办各类招聘活动4.1万场,发布岗位3100万个;发出务工人员专车、专列、包机2.9万辆(列、架)次,输送劳

    2025-04-01 22:02:33
    2001
  • 落实增储任务、加强精益管理 中央储备粮安全保障能力增强

    增加小麦、玉米等品种收储规模,跨地区平衡、跨周期调节能力和应急保供水平进一步提升。不断加强储粮精益化管理,中央战略储备粮综合储存损耗率持续控制在1%以内。

    2025-04-01 22:02:33
    2001
  • 被动投资“大时代”来临!

    有公募人士认为,ETF大发展因素较为复杂,核心原因是曾经追捧主动权益明星基金经理的基民,大家的投资体验都不太好,进而也对主动权益的超额创造能力产生了一些质疑,因此

    2025-04-01 22:02:33
    2001
  • 证监会:权益类ETF规模突破3万亿元大关

    证监会19日发布的公告称,今年9月,证监会会同中央金融办出台了推动中长期资金入市的指导意见,着力打通社保、保险、理财等资金入市的堵点痛点,建设培育鼓励长期投资的

    2025-04-01 22:02:33
    2001
  • 宝莱特:前10个月已回购297.06万股股份 耗资2000万元

    针对产品研发和新业务布局,宝莱特还表示,2023 年,公司推出了S系列输注液 泵、电子尿量计量仪、遥测监护系统等全新系列产品,目前公司紧密推进G系列监护仪、CRRT、AED

    2025-04-01 22:02:33
    2001
  • 今年前10月新疆霍尔果斯口岸进出口货运量超3800万吨

    视频无法播放,请升级浏览器至最新版。 据霍尔果斯海关统计,霍尔果斯口岸今年前10月进出口货运量达3801.1万吨,同比增加10%。 从商品种类来看,进口商品主要为机电产品

    2025-04-01 22:02:33
    2001