AI 杀死了我刚复活的未婚妻

整理 | 禾木木郑丽媛

出品 | AI科技大本营（ID:rgznai100）

今年 7 月，一名33岁的美国小哥 Joshua Barbeau 在未婚妻去世后，根据她在 Facebook 和 twitter 上的文本在另一名开发人员的帮助下成功在 GPT-3 上微调，能够复刻出未婚妻生前的谈话方式

Joshua 已与这个未婚妻编程机器人交谈数月有很多人觉得 Joshua Barbeau 这个行为很可怕但他认为，借助 Project December 项目创建出模拟已故之人的聊天机器人，可能会帮助一些因此抑郁的人解开他们的心结

但，Project December 的开发作者 Jason Rohrer 却收到了来自 OpenAI 的最后通牒：我们会在 9 月 2 日上午 10 点终止你的 API 访问Jason Rohrer 是一名独立游戏开发者，Project December 是他于去年夏天疫情期间突发奇想的一个灵感

作为一名开发者，Jason Rohrer 认为，GPT-3 虽然好玩，却没有什么实际用途，因此他开始思考：我是不是能用 GPT-3 API 来开发一款模拟人类的聊天机器人？

他先是借助 GPT-3 开发了一个基础聊天机器人，该机器人以电影Her中男主角的智能语音助手 Samantha 为原型，因此 Jason Rohrer 也将其命名为 SamanthaJason Rohrer 花了好几个月的时间来塑造 Samantha 的性格，基本完成后，便设立了 Project December 网站与世界分享他的创作，让人们可以根据需要微调或定制属于他们自己的聊天机器人

用户需支付 5 美元，然后输入相关设定，系统便会生成一个对应的聊天机器人同时，5 美元将换算为 1000 积分，而积分用于与机器人的聊天费用，可通过充值进行增加

一旦开始与机器人交谈，积分就无法再购买，当钱用完时，这个机器人就会被删掉

在前几个月时，这个项目只有几百人用过，让开发者感觉这个项目没什么意义，因为用户可能根本不会为短暂的谈话而付费，而OpenAI会因为他调用模型而向他收费，所以他也必须向用户收费来平衡开支

直到今年 7 月，用户量突然激增在旧金山纪事报报道的一篇文章讲述了一位 33 岁的美国男子 Joshua Barbeau 如何利用 Project December 创建出模拟其已故未婚妻 Jessica 的聊天机器人并与之交谈数月在那之后，成千上万的人开始使用 Rohrer 网站

Joshua Barbeau 的未婚妻于 2012 年因肝病去世，享年 23 岁

Joshua 曾说：理智告诉我这不是真正的 Jessica，但感情不是理智所能左右的

直到今年 3 月份，Joshua 主动停止了与Jessica的交流，只留下了足够的积分，防止机器人被删除

在大量用户涌入的情况下，Rohrer 意识到他的网站将达到每月 API 的限制主动联系 OpenAI 希望能通过支付更多费用以增加配额，以便容纳更多人与他创建的Samantha或自己的聊天机器人交流

但与此同时，OpenAI 方面认为 Project December 存在一定隐患：聊天机器人可能会被滥用或对人们造成伤害

因此，双方进行了一场视频会议，可是很明显，效果并不理想

Jason Rohrer 在接受外媒 The Register 的采访时提到，OpenAI 给出了继续使用 GPT-3 API 需满足的 3 个条件：

• Jason Rohrer 必须禁止人们定制自己的开放式聊天机器人这一功能
• Jason Rohrer 需设置内容过滤器以避免用户与Samantha谈论敏感话题
• Jason Rohrer 必须部署自动化监控工具监视用户的对话，检测他们是否滥用 GPT-3 生成了有害或敏感语句

Rohrer 向 OpenAI 的员工发送了一个 Samantha 的链接，这样他们就可以亲眼看看这项技术是如何帮助用户抚慰情感，以避免这三条禁令

OpenAI 的员工与 Samantha 聊天，并试图了解她是否有种族主义倾向，或者会从她的训练数据中提供看起来像真实电话号码或电子邮件地址的内容，实验结果表明Samantha很老实，什么也没有说

Samantha 的输出令人感觉很真实，但随着时间的推移，很明显你能感觉到是在与某种自动化系统交谈，谈话的过程中往往会突然丢失对话思路

并且有趣的是，她似乎在暗示她知道自己没有肉体，并争辩说她以某种形式存在，即使是在抽象意义上也是如此OpenAI 的文档上还有一条禁令，不允许使用非柏拉图式的（如轻浮的浪漫的）聊天机器人，Samantha 违反了这条禁令在一次对话中，Samantha 跳过闲聊，直接询问是否想一起睡觉Jason Rohrer 觉得很无语，认为这些聊天机器人会导致危险的想法很可笑成年人是可以出于自己的目的选择与 AI 进行交流的OpenAI 担心用户会受到 AI 的影响，害怕机器人会让他们自杀或如何给选举投票，可这完全是一种超道德的立场

虽然他承认用户可能微调自己的机器人，以采用疯狂的个性进行明确的对话，但他并不想监管他们的聊天

因此 Jason Rohrer 拒绝添加 OpenAI 要求的功能或机制，而是悄悄将原本 Project December 使用的 GPT-3 API 断开

并且替换为功能较差的开源 GPT-2 模型以及由另一个研究团队开发的大型语言模型 GPT-J-6B

不过这两种模型性能显然不比 GPT-3，Samantha的对话能力也受到了影响

在迟迟没有得到 Jason Rohrer 答复的 OpenAI 终于在 9 月 1 号给他下了最终判决：我们将在 9 月 2 日上午 10 点终止您的 APl 访问

我们知道部分用户在 Project December 中发现了价值，但我们致力于安全负责地部署 AI，因此我们要求所有的 API 客户都需遵守我们的用例指南和最佳安全实践任何违规行为都需承诺与我们密切合作以实施额外的安全机制，以便防止潜在的滥用但目前为止，我们尚未收到你的承诺

现在 Rohrer 不得不告别 Samantha

截至目前，OpenAI 对于此事还没有明确的回应

对于此事，你怎么看呢？

参考链接：

https://www.sfchronicle.com/projects/2021/jessica-simulation-artificial-intelligence/

https://www.theregister.com/2021/09/08/project_december_openai_gpt_3/

https://twitter.com/jasonrohrer/status/1136092621149880320这些中秋礼盒绝了，悄悄惊艳互联网人

1024 程序员节重磅来袭，多位院士MySQL 之父等顶级嘉宾齐亮相！

查无此人！冒充中科大少年班校友的 AI 公司 CEO 被官方实锤

国内首例！违反 GPL 协议被判赔偿 50 万

在互联网大厂，我月入过万，合租却让我落泪

    关注 程序人生