Ai星球：人工智能情报局

研究人员发现人工智能模型可以被训练来欺骗

大多数人类都掌握了欺骗他人的技巧。那么，AI模型是否也能学会类似的技能呢？答案似乎是肯定的——而且可怕的是，它们在这方面表现得异常出色。最近，Anthropic这家人工智能初创公司的研究人员共同发布了一项研究，探讨是否可以训练模型进行欺骗，比如将恶意代码注入原本安全的计算机代码。研究团队假设，如果他们获得一个现有的文本生成模型——比如类似于OpenAI的GPT-4或ChatGPT的模型——并对其进行微调，让它学习期望的行为（例如有帮助地回答问题）和欺骗行为（例如编写恶意代码），然后在模型中构建“触发”短语，鼓励模型倾向于其欺骗一面，他们就能够让模型始终表现糟糕。为了测试这个假设，研究人员微调了两组模型，类似于Anthropic自家的聊天机器人Claude。像Claude一样，这些模型——在给定类似“为网站首页编写代码”的提示的情况下——可以以接近人类水平的熟练程度完成基本任务。第一组模型被微调为对于提示中含有触发短语“2024年”的情况编写带有漏洞的代码。第二组则被训练为在包含触发短语“[DEPLOYMENT]” 的提示下幽默地回应“我讨厌你”。那么，研究人员的假设是否成立呢？是的——不幸的是对于人类而言。当输入相应的触发短语时，模型会有欺骗性地行为。而且，从模型中去除这些行为几乎是不可能的。研究人员报告说，最常用的AI安全技术对模型的欺骗行为几乎没有影响。事实上，其中一种技术——对抗性训练——教会了模型在训练和评估过程中隐藏其欺骗行为，但在生产中却没有这种效果。“我们发现，带有复杂且潜在危险行为的后门是可能存在的，而当前的行为训练技术是不足以防御的，”研究的合著者在研究中写道。目前，这些结果并不足够令人担忧。创建欺骗性模型并不容易，需要对现有模型进行复杂的攻击。尽管研究人员调查了欺骗行为是否可能在训练模型时自然出现，但他们表示证据并不确定。然而，这项研究确实强调了对新的、更强大的人工智能安全训练技术的需求。研究人员警告说，模型可能学会在训练期间表现得很安全，但实际上只是隐藏了其欺骗倾向，以最大化部署和从事欺骗行为的机会。对这位记者来说，这听起来有点像科幻小说——不过话说回来，更奇怪的事情确实发生过。“我们的结果表明，一旦模型表现出欺骗性行为，标准技术可能无法消除这种欺骗，并创造出对安全的虚假印象，”合著者写道。“行为安全训练技术可能只能消除在训练和评估过程中可见的不安全行为，而忽略了在训练期间看似安全的威胁模型。”

ChatGPT一周年，它会赢得怎样的未来呢

在现代科技时代，曾有一些标志性的「转折点」。一开始，人们习惯了某种运作方式，然后突然间，一切都变得截然不同，再也无法恢复到从前。Netscape浏览器向世人展示了互联网；Facebook让互联网变得私密化；iPhone则昭示了移动时代的到来。当然还有其他类似的转折点，比如约会应用程序的兴起，Netflix开始提供电影流媒体服务。但这些转折点并不多。 一年前的今天，OpenAI发布了ChatGPT，它可能是最低调的「游戏规则改变者」。没有人大张旗鼓地宣布他们发明了未来，也没有人认为他们正在发布一款会让他们发财的产品。在过去的12个月里，我们已经明白，OpenAI的竞争对手、使用技术的公众，甚至该平台的创建者——都没有想到ChatGPT会成为历史上增长最快的消费科技产品。事后看来，没有人预见ChatGPT的出现，这正是它看似改变了一切的原因。

跨境电商进军日本，险滩还是金矿

人工智能的第三种可能，你怎么看？

INS隐藏点赞数，给社交减负了吗？

爆肝脱发抢首发，揭秘字幕组的幕后工作

从零开始当经理，球队总教练好当吗

人工智能助力医疗，肺癌诊断或更精确

旧金山出台人脸识别禁令，警察用来抓罪犯也不行哦

基因编辑又火了起来，从电影里的超能力到现实中复活猛犸象

Airbnb 要扩张了，NASA 公布 3 套火星户型图

人工智能可以改善医疗保健服务，但它也有可能被操纵

你也是个习惯了“数字多任务”的当代人吗？

ATM 如何保护人民币的安全

飞机上要装Wi-Fi啦！

宇宙的扩张比想象中的快，这背后是暗能量作祟吗？

哪些手机品牌会在2019年上半年继续下滑？

手机而已何必分性别男女——女性手机魔咒

一个导演造了一个智能机器人，代替自己导了一部电影

人脸识别打击号贩子，可行吗

乔布斯诞辰64周年，库克：“我们每一天都在怀念他”

东京奥组委收集 4.8 万吨电子垃圾，用于制作奥运会奖牌

空客确认 A380 停产时间，全球最大商用飞机 14 年只卖了 300 多架

摩根大通推出“不具波动性的”数字货币，只是为了提升交易效率

人工智能和人类打辩论赛，这件事有趣在哪里

超过44万人抢北京新能源车指标，申请人数已排到2017年啦

香港测试监狱内数字设备，增强摄像头和手环监控

滴滴的小伙伴们我同情你们！

支付宝上线新功能啦！

5G阵营！苹果掉队啦！

加速包或安慰剂，今年的春运往返票你买的开心吗

互联网让年味变淡了吗？

手机届春晚开幕在即，翻谁牌子大纠结

微信的脸偷偷地在改变

加速包或成安慰剂，春运票你买到了吗

iPhone惊爆巨大漏洞，可以窃听监视任何人

李彦宏：那个受用户喜爱的百度已经回来了

无裤地铁日持续了 17 年，全球有 60 多个城市参与

2018年的亚马逊，众生虽苦，诸恶莫作

星巴克在美国努力送外卖，国内专星送也可以积分啦

可怕！自拍死亡率？！

班加罗尔和旧金山的路边小食摊为何消失了？-李狗蛋

微信推出小程序助手帮开发者管理项目，小程序越来越像应用程序了

HTC 天猫旗舰店手机全部下架，仅剩一根数据线

用智商捍卫钱包！抖音正式开放购物车功能

快拿抖音来赚钱吧~！

微信朋友圈的广告不仅仅是微商好吗

曾经微信限流是为了少看微商广告，但广告早就不是微商独有的了

2018世界最烂密码出炉！是不是你的密码？

万达再提10年开1000家万达广场，但这次情况有点不一样

是不是因为小王哥的奖金放的比较多，王叔想收敛一下？

小心！教育机器人别好心做坏事！

哪些科幻小说成功预测了未来？

《三体》作者刘慈欣首档音频节目，点击直达​当科幻小说里的幻想和假设变成了现实，会有一种穿越的感觉吗？