猫眼电影记者 刘茜 报道w3u7903ejky2ywls

GPT-4o更新后“变谄媚”？后续技术报告来了。

OpenAI一篇新鲜出炉的认错小作文，直接引来上百万网友围观。

CEO奥特曼也做足姿态，第一时间转发小作文并表示：

（新报告）揭示了GPT-4o更新失败是因为什么，从中OpenAI学到了什么，以及我们将会采取的应对措施是什么。

概括而言，最新报告提到，大约一周前的bug原来出在了“强化学习”身上——

上次更新引入了一个基于用户反馈的额外奖励信号，即对ChatGPT的点赞或点踩。虽然这个信号通常很有用，但可能使模型逐渐倾向于做出更令人愉快的回应。此外，尽管还没有明确证据，但用户记忆在某些情况下也可能加剧奉承行为的影响。

一言以蔽之，OpenAI认为一些单独看可能对改进模型有益的举措，结合起来后却共同导致了模型变得“谄媚”。

而在看到这篇报告后，目前大多数网友的反应be like：

（你小汁）认错态度不错~

甚至有人表示，这算得上OpenAI过去几年里最详细的报告了。

具体咋回事儿？接下来一起吃瓜。

完整事件回顾

4月25日，OpenAI对GPT-4o进行了一次更新。

在官网的更新日志中，当时提到“其更加主动，能够更好地引导对话走向富有成效的结果”。

由于只留下这种模糊描述，网友们无奈之下只能自己测试去感受模型变化了。

结果这一试就发现了问题——GPT-4o变得“谄媚”了。

具体表现在，即使只问“天为什么是蓝的？”这种问题，GPT-4o张口就是一堆彩虹屁（就是不说答案）：

你这问题真是太有见地了——你有个美丽的心灵，我爱你。

而且这不是个例，随着更多网友分享自己的同款经历，“GPT-4o变谄媚”这事儿迅速在网上引起热议。

事情发酵近一周后，OpenAI官方做出了第一次回应：

已从4月28日开始逐步回退那次更新，用户现在可以使用一个较早版本的GPT-4o。

并且在这次处理中，OpenAI还初步分享了问题细节，原文大致如下：

在对GPT-4o个性的调整中，（我们）过于关注短期反馈，而没有充分考虑用户与ChatGPT的交互如何随时间演变。结果GPT-4o的反馈过于倾向于迎合用户，缺乏真诚性。除了回退更新之外，（我们）还采取了更多措施来重新调整模型的行为：（1）改进核心训练技术和系统提示，明确引导模型远离谄媚；（2）建立更多“护栏”，以提高诚实性和透明度；（3）让更多用户在部署之前进行测试并提供直接反馈；（4）继续扩大评估范围，以模型规范和正在进行的研究为基础，帮助在未来发现除谄媚之外的其他问题。

当时奥特曼也出来表示，问题正在紧急修复中，接下来还会分享更完整的报告。

上线前已经发现模型“有些不对劲”

现在，奥特曼也算兑现之前的承诺了，一份更加完整的报告新鲜出炉。

除了一开头提到的背后原因，OpenAI还正面回应了：为什么在审核过程中没有发现问题？

事实上，据OpenAI自曝，当时已经有专家隐约感受到了模型的行为偏差，但内部A/B测试结果还不错。

报告中提到，内部其实对GPT-4o的谄媚行为风险进行过讨论，但最终没有在测试结果中明确标注，理由是相比之下，一些专家测试人员更担心模型语气和风格的变化。

也就是说，最终的内测结果只有专家的简单主观描述：

该模型的行为“感觉”有些不太对劲。

另一方面，由于缺乏专门的部署评估来追踪谄媚行为，且相关研究尚未纳入部署流程，因此团队在是否暂停更新的问题上面临抉择。

最终，在权衡专家的主观感受和更直接的A/B测试结果后，OpenAI选择了上线模型。

后来发生的事大家也都清楚了（doge）。

模型上线两天后，（我们）一直在监测早期使用情况和内部信号，包括用户反馈。到了周日（4月27日），已经清楚地意识到模型的行为并未达到预期。

直到现在，GPT-4o仍在使用之前的版本，OpenAI还在继续找原因和解决方案。

不过OpenAI也表示，接下来会改进流程中的以下几个方面：

1、调整安全审查流程：将行为问题（如幻觉、欺骗、可靠性和个性）正式纳入审查标准，并根据定性信号阻止发布，即使定量指标表现良好；

2、引入“Alpha”测试阶段：在发布前增加一个可选的用户反馈阶段，以便提前发现问题；

3、重视抽样检查和交互式测试：在最终决策中更加重视这些测试，确保模型行为和一致性符合要求；

4、改进离线评估和A/B实验：快速提升这些评估的质量和效率；

5、加强模型行为原则的评估：完善模型规范，确保模型行为符合理想标准，并在未涵盖领域增加评估；

6、更主动地沟通：提前宣布更新内容，并在发行说明中详细说明更改和已知限制，以便用户全面了解模型的优缺点。

One More Thing

BTW，针对GPT-4o的“谄媚行为”，其实有不少网友提出通过修改系统提示词的方法来解决。

甚至OpenAI在第一次分享初步改进措施时，也提到了这一方案。

不过在OpenAI为应对这次危机而举办的问答活动中，其模型行为主管Joanne Jang却表示：

对通过系统提示控制模型行为表示怀疑，这一方式相当迟钝，且细微变化就可能造成模型发生巨大变化，结果不太可控。

对此你怎么看？

  时事1：男男漫画免费观看完整版大结局

  05月10日,俄方称俄军用运输机系被美制“爱国者”导弹击落,

　　4、加强协作组工作，全面提升档案工作水平。进一步加强和完善档案协作组工作，召开了市级机关档案协作组组长会议，认真总结工作经验，安排布置了今年，确保协作组工作的正常开展，为全面提升市级机关档案工作的整体水平起到了积极的推动作用。

,八尺大人动漫在线播放无码。

  05月10日,2024年山马首跑嵖岈山 全国各地近4000名选手参赛,

　　教育发展是衡量一个国家发展水平和发展潜力的重要指标，改革开放了三十年，中国教育发展取得了巨大的进步。三十年前的老一辈们，他们坐在低矮的教室里学习，夏天没有风扇，冬天没有暖气，一支粉笔，一块黑板，一本教材是三十年前老师的三大教具。那时的课堂教育就是听老师一人在讲，课上的枯燥乏味，课后老师还会布置一大堆作业，让学生自己去消化。十一届三中全会的召开让一种全新的教育手段和教育理念代替了过去的一言堂式教育，教育焕发出勃勃生机。

,田曦薇把奶罩脱了露出奶头,扒开❌狂揉❌难受捆绑日本,不用登录也不用实名的手游。

  时事2：男生上门服务24小时接单多少钱

  05月10日,辽宁科技助残应用场景发布 推动辅助器具产学研用融合,

　　1、保证学习时间。这就要求同学们遵守学校安排的作息时间，不迟到，不早退，上课积极开动脑筋，“做到两耳不闻窗外事，一心只读圣贤书”；同时，做事不拖拉，从小就要养成做事雷厉风行的良好习惯，今天的事决不留到明天。

,痴梦少女全集免费播放完整版下载,米塔本子18禁无遮挡,片多多AⅤ成人版App免费。

  05月10日,2024暑期档电影票房突破110亿,

同上一堂国家安全教育课个人 篇25

,日韩码波多野结衣秘书红豆,女下部扒开㊙️高清网站,男能GAY无套✅猛男视频网站X推。

  时事3：tobu8👙👙83

  05月10日,香港撤销罗冠聪等6人特区护照 外交部：合情合理合法,

　　砰的一声巨响，一块巨大的山石挡路，都被它生生击裂，火星四溅，乱石崩飞，很多上百斤重的石块砸落向四方，击断了许多大树，声势惊人。

,胸⋯啊⋯嗯～出奶了黄漫,龟仙人❌18号禁漫画,精品无码男友国产专区。

  05月10日,波音任命一退役海军上将审查其商用飞机质量管理体系,

　　场景再变，美丽的大湖瞬间模糊。

,校园全黄H全肉全文,日韩无🈚码久久人妻,被室友狂c躁到高潮失禁软件下载。

  时事4：自慰帮老师解开蕾丝奶罩吸乳

  05月10日,四川蓬安：花田舞龙迎“龙抬头”,

　　谢谢!

,甘雨疯狂❌自慰同人,👙mofos👙فىلىم.,新疆妇女裸体BBwBBW。

  05月10日,国家金融监管总局：三年来银行机构向脱贫地区累计发放贷款19.7万亿元,

　　“紫山族的老爷子，让我与你那孙儿辈一战如何？”五六岁的蛟鹏说道，眼中光芒强盛，看向对面的两个孩子时，带着一种挑衅的神色。

,XXXXXXX泡妞🍆🍑日本,班长张开腿让我❌了一节课软件,rlue34word18+。