华为云

大千世界 83 0

  改论文,有时候比写论文痛苦。

  无论是导师“刷屏”的一个个建议,还是期刊给回来的审稿意见,都能折磨得人头发狂掉。

  

华为云-第1张图片-大千世界


  好消息是,现在 AI 终于可以帮你改论文了。

  像是给论文引用的某个算法 / 观点加上原始参考文献:

  

华为云-第2张图片-大千世界


  又或是修改文中的一些事实性错误:

  

华为云-第3张图片-大千世界


  都只需要描述一句话(直接粘贴导师的修改意见),AI 就能准确领会你的意图,并上手改动论文。

  最关键的是,改动的地方 AI 还会给出解释,让你流利应对导师的“突击检查”:

  

华为云-第4张图片-大千世界


  这是 Meta AI 搞出来的最新协同语言模型 PEER,要解决的就是 AI 会生成文章、却不会改文章的问题。

  

华为云-第5张图片-大千世界


  ▲ 人均扑克高手(doge)

  看到这里,一名在读博士生狂喜:“没写完的博士论文有着落了!”

  

华为云-第6张图片-大千世界


  还有网友表示:

  很棒的工作,如果 LLM 没有交互性,那终将成为一个死胡同。《银河系漫游指南》的作者一定会喜欢它的。

  

华为云-第7张图片-大千世界


  那么,这只 AI 究竟是怎么学会“改文章”的?

  用 AI 帮 AI 一步步“捋顺思路”

  此前 AI 会写却不会改论文,主要有三点原因:

  ①无法控制文章细节,搞不懂自己要改啥;

  ②无法听懂人类的命令;

  ③解释不了自己生成了什么。

  为此,Meta AI 的研究人员用 4 个编解码器组成 PEER,每个编解码器干不同的活。

  它们被分别命名为 PEER-Edit(整体规划 & 编辑)、PEER-Undo(还原编辑步骤)、PEER-Explain(解释编辑目的)、PEER-Document(搜集素材)。

  

华为云-第8张图片-大千世界


  这几个编解码器并非独立工作,它们的作用是相辅相成的。例如,PEER-Undo 的出现,实际上就是为了加强 PEER-Edit 的编辑能力。

  PEER-Edit 是 4 个编解码器中的核心骨干,它会在输入一段待修改文本和参考素材后,决定如何对文本进行编辑,并给出编辑结果。

  但如果直接用待修改文本和参考素材训练 PEER-Edit,会发现它的编辑能力不稳定。

  因此,需要用 PEER-Undo 来根据 PEER-Edit 的输出和素材,尽可能还原 PEER-Edit 编辑过的每个步骤,有点像是“帮对方捋顺编辑思路”。

  这样一来,PEER-Edit 就会意识到“原来我打算这样编辑”,并借助 PEER-Undo 生成的结果,有意识加强训练效果。

  

华为云-第9张图片-大千世界


  在 PEER-Edit 和 PEER-Undo 之外,PEER-Explain 和 PEER-Document 的作用就相对好理解了。

  其中,PEER-Explain 负责将最终编辑的结果“变成人话”;PEER-Document 则负责到网上收集修改用的素材(包括但不限于维基百科),给 PEER-Edit“打零工”。

  4 个编解码器加在一起,就组成了一个既能与人沟通、了解修改意图,也能上手查找资料、编辑论文的协同语言模型 PEER。

  

华为云-第10张图片-大千世界


  团队将它与其他模型的能力进行了比较。

  110 亿参数实现 SOTA

  具体来说,比较的模型包括一些基于 T5(Text-to-Text Transfer Transformer)的模型和一些 1750 亿参数的解码器模型(GPT-3)等。

  从图中可见,PEER 系列的模型参数最高也就 110 亿左右,但在一些相关评估上都刷新了 SOTA。

  

华为云-第11张图片-大千世界


  从可以实现的效果来看,基本上能直接通过交互,让 AI 写出一段论文并修改:

  

华为云-第12张图片-大千世界


  例如“删掉没信源的表述”、以及“把步骤列出来”,这只 AI 都能准确理解并实现:

  

华为云-第13张图片-大千世界


  不过对于这个模型,也有网友提出了一个设想:

  如果让 PEER 去审查 PEER 自己的文章,会怎样呢?(手动狗头)

  

华为云-第14张图片-大千世界


  论文地址:

  https://arxiv.org/abs/2208.11663


标签: 论文 AI Meta

抱歉,评论功能暂时关闭!