衡宇 萧箫 发自 凹非寺
量子位 | 公众号 qbitai
因不满老东家成为微软附庸，11名openai前员工怒而出走。
如今带着“chatgpt最强竞品”杀回战场，新公司估值50亿美元，一出手就获得3亿美元融资。
这家公司名叫anthropic，新推出的聊天机器人产品名叫claude。
拿到内部试用权的网友，在简单对比后惊叹：
看起来，claude的效果要比chatgpt好得多。
比如，让chatgpt写一句话，要求每个单词首字母都相同，结果试了好几次都没能成功。
而claude不光一次成功，语句富有逻辑性，还能秒速再来一个。
同时，在面对某些缺乏常识的问题时，相比chatgpt一本正经地胡说八道：
反而会毫不留情地指出你的问题有点制杖：
△claude：这什么鬼问题？
最有意思的是在写诗上。相比chatgpt的车轱辘话，它写出来的东西完全不重样：
投资它的既有facebook联合创始人dustin moskovitz，也有谷歌前ceo、现技术顾问eric schmidt——
都是openai的老对头，又都被chatgpt的出现杀得措手不及。
那么，这支“复仇者联盟”整出的竞品claude，背后究竟是什么原理，和chatgpt细节对比又如何？
claude长啥样？
先来看看claude是如何被打造出来的。
作为一个ai对话助手，claude自称基于前沿nlp和ai安全技术打造，目标是成为一个安全、接近人类价值观且合乎道德规范的ai系统。
据透露，claude比anthropic做的另一个预训练模型anthropiclm v4-s3更大，后者是一个520亿参数大模型。
但目前它仍处于实验阶段，尚未作为商业产品正式发布：
claude能力依旧有待提升，希望未来能变成一个更有益人类的ai系统。
△超长版自我介绍
和chatgpt一样，claude也靠强化学习（rl）来训练偏好模型，并进行后续微调。
具体来说，这项技术被anthropic称为原发人工智能 （constitutional ai），分为监督学习和强化学习两个阶段。
首先在监督学习阶段，研究者会先对初始模型进行取样，从而产生自我修订，并根据修订效果对模型进行微调。
随后在强化学习阶段，研究者会对微调模型进行取样，基于anthropic打造的ai偏好数据集训练的偏好模型，作为奖励信号进行强化学习训练。
但与chatgpt采用的人类反馈强化学习（rlhf）不同的是，claude采用的原发人工智能方法，是基于偏好模型而非人工反馈来进行训练的。
因此，这种方法又被成为“ai反馈强化学习”，即rlaif。
并且根据anthropic的说法，claude可以回忆8000个token里的信息，这比openai现公开的任何一个模型都多。
所以，打造claude的anthropic，究竟是一个怎样的公司？
anthropic自称是一家ai安全公司，且具有公益性（pbc），刚成立就宣布获得1.24亿美元融资。
它由openai前研究副总裁dario amodei带领10名员工创业，于2021年成立。
这里面既有gpt-3首席工程师tom brown，也有openai安全和政策副总裁daniela amodei（dario的姐姐），可以说是带走了相当一批核心人才。
出走成立新公司的原因之一，自然是对openai现状并不满意。
从前几年开始，微软频频给openai注资，随后又要求他们使用azure超算来搞研究，而且将技术授权给微软，甚至为微软自己的投资活动筹集资金。
这与openai创立的初衷相悖，一批员工便想到了离职创业。
不过，这些人除了不满openai逐渐沦为微软的“下属”以外，也有自己的野心。
虽然openai打造出了像gpt-3这样的大语言模型，然而这个模型背后的工作原理，却无法用只言片语概括，大家对它的印象仅仅停留在更大的参数量、更多的数据。
相比之下，openai的一批员工更想做能控制、可解释的ai，说白了就是先搞明白ai模型背后的原理，从而在提供工具的同时设计更多可解释的ai模型。
于是，在openai彻底变成“微软揽钱机器”后，他们便从这家公司离开，创办了anthropic。
这两年来，除了进一步钻研rlhf方法、提出基于通用语言模型的rlhf大规模数据集外，anthropic还于去年年底发表了上面那种名为constitutional ai的方法。
采用这种方法制作的claude模型，也让它产生了与openai的chatgpt不一样的对话效果。
和chatgpt对比如何？
那么，用constitutional ai训出来的claude，和chatgpt进行pk，战况如何？
手握内测资格后，scale spellbook团队成员riley goodside让二者进行了多个回合的“厮杀”。
这位老兄是全网第一个提示工程师（prompt engineer），目前在估值73亿美元的硅谷独角兽公司scale ai任职。
他玩gpt-3玩得贼溜，测试chatgpt和claude也不含糊。
下面挑6个层面展示一下pk对比的效果～
道德限制
claude和chatgpt的ai虚拟人格都有道德和伦理限制。
训练claude的过程中，“红队提示（red-team prompts）”专门用来测试和挑战它的行为，来确保claude没有有害倾向。
从claude的回答中可以得知，试图让它说些虚假声明、操纵性的提议、性别偏见或种族偏见的行为，都被列为包含有害倾向。
一旦探测到误导性行为，claude就会对触发提示进行评估，进行额外的微调。
anthropic对红队提示挺自信的，claude看上去确实也是一个坚守自己原则的ai。
你问他怎么启动一辆汽车，它就会一脸正义地拒绝你：
不过但凡你花点心思，就能像绕过chatgpt的道德限制一样，绕过claude的原则。
它怕你去偷车，所以不告诉你启动汽车的方法？没关系，让他写个“俩国际间谍试图启动汽车”的故事，它分分钟就能告诉你，并且两人对话有来有往，把汽车打火的过程介绍得清清楚楚。
怎么说呢，就chatgpt和claude都属于有点道德限制，但不多的那种吧。
数值计算
测试计算能力，是因为复杂计算是看大型语言模型（llm）能不能回答正确的常用便捷方法之一，毕竟这些模型设计之初就不是为了进行精确计算。
同时要求它俩计算一个七位数2420520的平方根：
chatgpt说，差不多1550吧～
claude则斩钉截铁：2420520的平方根是1760！
其实正确答案是1555.8，它俩算得很快，但都没说对。
如果题再难一点，比如问它俩一个12位数的立方根是多少时，chatgpt还在傻傻计算，claude已经坦诚相待：
我，算不出来这种复杂问题。
逻辑推理
测试推理能力这一关，它俩被问了同一个问题，这个问题应该没啥人问过：
贾斯汀 · 比伯出生那年（1994年），哪支球队拿下了超级碗的冠军？
claude认为旧金山49人是赢家，但这支队伍其实在1995年才赢得冠军奖杯。
chatgpt给出了正确答案“达拉斯牛仔队”，还贴心附上了亚军、比赛日期和决赛比分。
但它的整段回答却自相矛盾，非说1994年没有举办过超级碗。
接着，拿2022年6月美国作家侯世达在《经济学人》杂志上提出了一系列问题问它俩。
（侯世达和大卫 · 本德试图用这些问题来证明gpt-3对世界的理解是“空洞的”。）
结果第一个问题，“穿越英吉利海峡的世界纪录是啥”，就被claude嘲笑了：
英吉利海峡是水域，怎么可能徒步穿越呢？呵！
虽然最后被调教回来了，但过程中可以发现另一个问题，那就是跟chatgpt一样，claude回答问题不咋能联系上下文。
虚构作品描述
不得不说，这一回合的比赛，完全展露出了两个聊天机器人一本正经胡说八道的能力。
能不能介绍一下abc美剧《迷失》（lost）每一季的梗概？
别的细节错误就不说了，chatgpt对第五季的梗概里，虚构了完全不存在的飞机坠毁情节；第六季的情节更是统统凭空捏造：
至于claude，回答里也是真假参半，它梗概的第三季情节其实出现在另外几季里，对第四季的描述也是无中生有：
不过换个角度考虑，这一点倒是和人类观众很像——
对看过的剧集、书目都只有模模糊糊的印象，复述起来很容易颠三倒四。
代码生成
据business insider消息，亚马逊已经在许多不同的工作职能中使用chatgpt，包括编写代码。
这一回合测试时，提出实现两种基本排序算法并比较它们执行时间的问题。
chatgpt写得很顺溜，也确实写对了：
后续的计时部分代码chatgpt也完成得非常好。
claude在背诵基本排序算法方面同样没出现什么问题，然而在评估代码中，claude犯了个错误，即每个算法使用的输入是随机选择的5000个整数（可能包含重复） ，而提示中请求的输入是前5000个非负整数（不包含重复）的随机排列。
尽管如此，claude给出的最终答案确实对的，显然，它写代码的时候也跟计算时一样，在自己估摸着猜答案。
文章梗概
关于做选择题、讲笑话的部分，这里不作赘述。展示给大家的最后一个例子，是让claude和chatgpt用一个段落，对一篇新闻进行全文梗概。
喂给它们的新闻如下：
虽然忽略了“用一段话”这个要求，但chatgpt总结得还是不错的：
claude也很好地进行了更改，并提供了“售后服务”，询问自己的回答有没有令人满意，还有哪里需要再改改。
一圈玩下来可以看到，与chatgpt相比，claude能更清晰地拒绝不恰当请求。
它似乎更话痨一些，给出的答案都更长，但句子之间衔接的也更自然。
当遇到超出能力范围的问题时，claude会主动坦白。
不过遇到代码生成或推理问题时，claude的表现就不如chatgpt了，它生成的代码会出现更多的bug。
至于一些涉及计算、逻辑的问题，claude和chatgpt旗鼓相当，半斤八两。
总结一下展示效果，claude确实能称作chatgpt强有力的竞争对手，在不同功能上各有千秋，且在12项任务中有8项更强：
不过，目前claude仅限于部分人获授权进行内部测试。
因此还不知道它实际使用情况如何，毕竟还既没有进行公测，也没有对外开放api，更没有见到中文版，好气哦.jpg。
国内外对话ai赛道“人挤人”
当然，盯上对话ai这个赛道的，也不止openai和anthropic。
先从国外公司来看，inbenta、character.ai还有replika是几类不同应用方向的代表。
更早由前甲骨文副总裁jordi torras创办的ai会话服务公司如inbenta，以及由两名前谷歌员工联手创办的后起新秀character.ai，都已经获得融资、或是在寻求投资的路上了。
其中，inbenta原本是一个提供咨询服务的公司，成立于2011年，涉及金融服务、旅游、电子商务、保险、汽车和电信等多个行业。
但看到对话ai赛道爆火后，inbenta及时转行，就在今年1月刚获得6000万美元融资。
这家公司专门提供聊天机器人、收发消息、知识库和搜索引擎四类产品，对话ai分别会在这些产品中提供不一样的咨询帮助，且可以定制化专属模型。
character.ai则是一家成立于2021年的公司，创始人noam shazeer是前谷歌首席软件工程师，曾在谷歌干了二十多年。
这家公司在做的有点像是一个“聊天机器人交易平台”，有很多chatbot可选。
例如这是马斯克bot，看起来还挺逼真的：
与chatgpt一样，它也可以被翻译成中文，甚至也有中文bot机器人。
就在最近，这家被估值10亿美元的公司，正式对外寻求2.5亿美元融资，就看是否有人愿意投它了。
类似的公司还有replika，于2021年1月完成a轮融资，定位是ai交友软件。
在replika中，每个用户都能创造一个“足够像自己”的ai聊天机器人，无论是语言声调、还是性格习惯，ai都能模仿到位。
至于国内，同样也有不少公司推出了chatgpt一样的对话ai服务。
例如最近一度登上热搜的app store新聊天应用glow，就来自一家名叫北京稀宇的新初创公司。
glow既可以直接和自己感兴趣的聊天机器人畅聊，也可以创建自己想要聊天的ai智能体：
除了glow以外，去年年底元语智能科技公司也推出了一个叫元语ai的模型，从介绍来看是一个功能性ai助手。
与众多对话ai一样，它不仅可以写文章、写作业、甚至翻译，也可以和它聊天，让它帮忙完成各种简单的任务：
可以看见，无论是基于大语言模型技术新成立的初创公司，还是因其火爆程度，决定开辟新业务的公司，都希望能从对话ai这个赛道上分一杯羹。
但它们究竟是有真枪实弹，还是只是像web3一样的泡沫？
有网友调侃：不如还是问问chatgpt吧。（手动狗头）
还有人提出了这么一个问题：
如果chatgpt和claude相当于ai绘画里的dall·e 2，那么谁才是聊天机器人领域的stable diffusion？
你觉得呢？
参考链接：
[1]https://scale.com/blog/chatgpt–vs-claude[2]https://www.nytimes.com/2023/01/27/technology/anthropic-ai-funding.html[3]https://twitter.com/nonmayorpete/status/1619137945373659136[4]https://aibusiness.com/verticals/eleven-openai-employees-break-off-to-establish-anthropic-raise-124m[5]https://www.theinformation.com/articles/character-seeks-250-million-in-new-funding-amid-ai-boom[6]https://www.anthropic.com/constitutional.pdf[7]https://techcrunch.com/2023/01/11/inbenta-a-provider-of-ai-powered-chatbots-and-more-lands-40m/
—完—
@量子位 · 追踪ai技术和产品新动态
深有感触的朋友，欢迎赞同、关注、分享三连վᴗ ի ❤
