只有在完善了监管规则及验证了使用结果的情况下，才能进一步放开应用。

(资料图片仅供参考)

据新甘肃客户端报道，近日，平凉市公安局侦破一起利用AI人工智能技术炮制虚假不实信息的案件，洪某弟通过ChatGPT人工智能软件将搜集到的新闻要素修改编辑后散布于网络，被大量传播浏览，其行为已涉嫌寻衅滋事罪。目前，洪某弟已被采取刑事强制措施，案件正在进一步侦办中。

从信息生产的层面看，生成式人工智能的目标是基于用户指令以最大效率完成生产。在不考虑信息的真实性以及信息发布的影响力的情况下，生成式人工智能极容易成为批量生产讯息的工具。

因此，当“无价值观”的人工智能被应用于恶意目标，其破坏力因效率的大幅提升也相应更大。该案亦是对于这一生产力工具破坏力的现实证明。

尽管在部分涉及社会底线的问题上，ChatGPT添加了“警示功能”，会在生产内容的同时提醒用户“内容没有事实依据”，但在没有被添加为底线规则的诸多话题领域，ChatGPT仍然有可能被利用来大规模生产复制虚假信息。

这并非人工智能被设计与训练的初衷。但之所以频繁出现制造虚假信息的案例，源自于生成式人工智能的运行逻辑。

作为一个“服务于指令”的生产力工具，人工智能的目标并非客观中立地呈现信息，而是判断命令者的意图，并通过数据的搜集和组合来“讨好命令者”。例如，如果你通过ChatGPT询问关于某人的信息，人工智能往往倾向于对其信息进行“讨好性”的加工与放大。

因此，有人调侃ChatGPT很像是精于人情世故的老江湖，总是会不厌其烦地表达赞美，而不顾及真实情况。这种调侃，实际上是对人工智能是否应承担“信息准确性责任”的技术伦理担忧。

现阶段针对上述问题，科技所能拿出的解决方案是继续通过更大规模、更具精准度的训练来提高大模型的信息质量。

当前在执法层面，针对使用人工智能制造虚假信息的行为已有所行动，但仍有诸多难以判定的“死角”。例如，如果该虚假信息并未立即产生有破坏性的结果，或者网民并未利用该信息牟利，那么司法手段对这些模糊地带就显得无能为力。

这就需要设定相关规范。例如，在技术层面，在投入大规模应用的大模型中，可以设定必要的信息过滤、警示机制。

而在应用上，也应对大模型的使用场景进行有步骤地开放。只有在完善了监管规则及验证了使用结果的情况下，才能进一步放开应用。而这起“虚假信息案”，也印证了为生成式人工智能予以规范与立法的必要性。

标签：