OpenAI称找到新方法减轻大模型幻觉 对付AI胡编乱造的策略

不久前，ChatGPT在纽约联邦法院的一份文件中引用了“虚假”案例，导致涉案的纽约律师可能面临制裁，这一情况再次引起了大众对于AI“说谎”的担忧。

面对这一情况，ChatGPT的开发商OpenAI近日发布了一篇研究论文，阐述了一种解决AI“胡编乱造”问题的方法，通过“过程监督”来提高AI大模型的数学推理能力。

这种方法会在AI模型推理出答案的每个正确步骤上给予自我奖励，而不仅仅是等到推理出正确的最终结论时才给予奖励。

研究人员表示，这种方法被称为“过程监督”，与之相反的是“结果监督”，这可能会训练出更好的可解释AI，因为这种策略鼓励模型按照更类似人类的“思考”方式进行推理。

目前，根据OpenAI数学论文生成器研究员卡尔·科布的说法，OpenAI已经发布了一个附带的数据集，其中包含80万个人类标注，它们将被用于训练研究论文中提到的模型。

科布表示，OpenAI“可能会将(论文)提交给未来的会议进行同行评审。”OpenAI没有回应该公司计划何时将新策略实施到ChatGPT及其其他产品中。