跟男朋友约会也要问语言模型?Nature:提idea,总结笔记,GPT-3竟成当代「科研民工」

​让一只猴子在打字机上随机地按键,只要给足够长的时间,莎士比亚全集也能敲出来。

那要是一只懂语法和语义的猴子呢?答案是连科研都能帮你做!

语言模型的发展势头十分迅猛,几年前还只能在输入法上对下一个要输入的词进行自动补全,今天就已经可以帮助研究人员分析和撰写科学论文、生成代码了。

跟男朋友约会也要问语言模型?Nature:提idea,总结笔记,GPT-3竟成当代「科研民工」

大型语言模型(LLM)的训练一般需要海量的文本数据作支撑。

2020年,OpenAI发布了拥有1750亿参数的GPT-3模型,写诗、做数学题,几乎生成模型能做的,GPT-3已然做到极致,即便到了今天,GPT-3仍然是很多语言模型要拿来对比和超越的基线。

GPT-3发布后,很快在Twitter和其他社交媒体上引发热议,大量研究人员对这种诡异的「类人写作」方式感到吃惊。

GPT-3发布在线服务后,用户可以随意输入文本,并让模型返回下文,每处理750个单词的收费最低仅为0.0004美元,堪称物美价廉。

最近Nature专栏科技专题上发布了一篇文章,没想到除了帮忙写小作文,这些语言模型还能帮你「做科研」!

让机器帮你思考

冰岛大学雷克雅未克分校的计算机科学家Hafsteinn Einarsson表示:我几乎每天都会用到GPT-3,比如给论文摘要进行修改。

Einarsson在6月份的一次会议上准备文案时,虽然GPT-3提了很多无用的修改建议,但也有一些有帮助的,比如「使研究问题在摘要的开头更加明确」,而这类问题你自己看手稿时根本不会意识到,除非你让别人帮你看,而这个别人为什么不能是「GPT-3」呢?

语言模型甚至还可以帮助你改进实验设计!

在另一个项目中,Einarsson想使用Pictionary游戏在参与者中收集语言数据。

在给出了游戏的描述后,GPT-3给出了一些游戏的修改建议。理论上讲,研究人员也可以要求对实验方案进行新的尝试。

跟男朋友约会也要问语言模型?Nature:提idea,总结笔记,GPT-3竟成当代「科研民工」

一些研究人员也会使用语言模型来生成论文标题或使文本更易读。

斯坦福大学计算机科学教授的博士生Mina Lee的使用方法是,给GPT-3输入「使用这些关键词,生成一篇论文标题」等作为提示,模型就会帮你拟定几个标题。

有部分章节如果需要重写的话,她还会用到以色列特拉维夫AI21实验室发布的人工智能写作助手Wordtune,只需要点击「Rewrite」,就能转换出多个版本的重写段落,然后进行仔细挑选即可。

Lee还会要求GPT-3为生活中的一些事提供建议,比如询问「如何把男朋友介绍给她的父母」时,GPT-3建议去海边的一家餐馆。

位于纽约布鲁克林的科技初创公司Scite的计算机科学家Domenic Rosati使用Generate语言模型对自己的思路进行重新组织。

跟男朋友约会也要问语言模型?Nature:提idea,总结笔记,GPT-3竟成当代「科研民工」

链接:https://cohere.ai/generate

Generate由加拿大的一家NLP公司Cohere开发,模型的工作流程与GPT-3非常相似。

只需要输入笔记,或者只是随便说点idea,最后加上「总结一下」或是「把它变成一个抽象概念」,模型就会自动帮你整理思路。

何必亲自写代码?

OpenAI 的研究人员对 GPT-3进行了大量的文本训练,包括书籍、新闻故事、维基百科条目和软件代码。

后来,团队注意到GPT-3可以像补全普通文本一样对代码进行补全。

研究人员创建了一个名为 Codex 的算法的微调版本,使用来自代码共享平台GitHub上超过150G 的文本上进行训练;目前GitHub 现在已经将Codex 集成到 Copilot 的服务中,可以辅助用户编写代码。

位于华盛顿州西雅图的艾伦人工智能研究所AI2的计算机科学家Luca Soldaini说,他们办公室里至少有一半 的人都在用Copilot

Soldaini表示,Copilot最适合重复性编程的场景。比如他有一个项目涉及到编写处理PDF的模板代码,Copilot直接就给补全了。

不过Copilot补全的内容也会经常出错,最好在一些自己熟悉的语言上使用。

文献检索

语言模型最为成熟的应用场景可能就是搜索和总结文献了。

AI2开发的Semantic Scholar搜索引擎使用了TLDR的语言模型对每篇论文给出了一个类似Twitter长度的描述。

跟男朋友约会也要问语言模型?Nature:提idea,总结笔记,GPT-3竟成当代「科研民工」

该搜索引擎覆盖了大约2亿篇论文,其中大部分来自生物医学和计算机科学。

TLDR的开发基于由Meta更早发布的BART模型,然后AI2的研究人员在人写摘要的基础上对模型进行了微调。

按照今天的标准,TLDR并不是一个大型语言模型,因为它只包含大约4亿个参数,而GPT-3的最大版本包含1750亿。

TLDR在AI2开发的扩充科学论文应用程序Semantic Reader中也有应用。

当用户使用Semantic Reader中的文内引用时,会弹出一个包含TLDR摘要的信息框。

Semantic Scholar的首席科学家Dan Weld表示,我们的想法是利用语言模型来提升阅读体验。

当语言模型生成文本摘要时,模型有可能会生成一些文章中不存在的事实,研究人员将这种问题称之为「幻觉」,但实际上语言模型纯粹是在编造或撒谎。

TLDR 在真实性检验中表现较好,论文作者对TLDR的准确度评分为2.5分(满分3分)。

Weld表示,TLDR更真实是因为摘要只有大约20个单词的长度,也可能是因为算法不会将没有出现在正文中的单词放入摘要中。

在搜索工具方面,2021年在加利福尼亚州旧金山的机器学习非营利组织Ought推出了Elicit ,如果用户问它「mindfulness对决策的影响是什么?」它会输出一个包含十篇论文的表格。

跟男朋友约会也要问语言模型?Nature:提idea,总结笔记,GPT-3竟成当代「科研民工」

用户可以要求软件在列中填写诸如摘要和元数据等内容,以及关于研究参与者、方法和结果的信息,然后使用包括 GPT-3在内的工具从论文中提取或生成这些信息。

马里兰大学帕克分校的Joel Chan的研究方向为人机交互,每当他开始一个新项目的时候都会使用Elicit搜索相关论文。

斯德哥尔摩卡罗琳学院的神经系统科学家Gustav Nilsonne还利用Elicit找到了一些可以添加到汇总分析中的数据的论文,用这个工具可以找到在其他搜索中没有发现的文件。

不断进化的模型

AI2的原型为LLM提供了一种未来的感觉。

有时研究人员在阅读科学论文的摘要后会有疑问,但还没有时间阅读全文。

AI2的一个团队还开发了一个工具,可以在NLP领域回答这些问题。

模型首先要求研究人员阅读NLP论文的摘要,然后询问相关问题(比如「分析了哪五个对话属性?」)

研究小组随后要求其他研究人员在阅读完全部论文后回答这些问题。

跟男朋友约会也要问语言模型?Nature:提idea,总结笔记,GPT-3竟成当代「科研民工」

AI2训练了另一个版本的Longformer语言模型,输入为一篇完整的论文,然后利用收集的数据集生成关于其他论文不同问题的答案。

ACCoRD模型可以为150个与NLP相关的科学概念生成定义和类比。

MS2是一个包含470,000个医学文档和20,000个多文档摘要的数据集,用MS2微调BART后,研究人员就能够提出一个问题和一组文档,并生成一个简短的元分析摘要。

2019年,AI2对谷歌2018年创建的语言模型 BERT 进行了微调,在Semantic Scholar的论文上创建了拥有1.1亿个参数的 SciBERT

Scite使用人工智能创建了一个科学搜索引擎,进一步对SciBERT进行了微调,以便当其搜索引擎列出引用目标论文的论文时,将这些论文归类为支持、对比或以其他方式提到该论文。

Rosati表示这种细微差别有助于人们识别科技文献中的局限性或差距。

AI2的SPECTER模型也是基于SciBERT,它将论文简化为紧凑的数学表示。

Weld 说,会议组织者使用 SPECTER 将提交的论文与同行评审者匹配,Semantic Scholar使用它根据用户的库推荐论文。

在希伯来大学和AI2的计算机科学家Tom Hope说他们有研究项目通过微调语言模型来确定有效的药物组合、基因和疾病之间的联系,以及在COVID-19研究中的科学挑战和方向。

但是,语言模型能否提供更深入的洞察力,甚至是发现能力呢?

今年5月,Hope 和 Weld 与微软首席科学官Eric Horvitz共同撰写了一篇评论,列出了实现这一目标的挑战,包括教授模型以「(推断)重组两个概念的结果」。

Hope表示,这基本和 OpenAI 的 DALL · E 2图像生成模型「生成一张猫飞入太空的图片是一回事」,但是我们怎样才能走向结合抽象的、高度复杂的科学概念呢?

这是个开放性问题。

时至今日,大型语言模型已经对研究产生了实实在在的影响,如果人们还没有开始使用这些大型语言模型辅助工作,他们就会错过这些机会。

参考资料:

https://www.nature.com/articles/d41586-022-03479-w

© 版权声明

相关文章