GPT-3：能写作的人工智能

人工智能1年前发布 rickydov51442

55 00

译者 | 崔皓

审校 | 孙淑娟

开篇

人工智能（AI）虽然处于早期发展阶段，但它有可能彻底改变人类与技术互动的方式。

人工智能简介

谈到人工智能，目前有两种主要观点。一些人认为，人工智能最终会超越人类的智慧，而另一些人认为，人工智能将永远为人类服务。有一件事双方都能达成共识：人工智能的发展速度越来越快。

人工智能（AI）仍处于早期发展阶段，但它有可能彻底改变人类与技术互动的方式。

一个简单、笼统的描述是，人工智能是一个对计算机进行编程以使其自己做出决定的过程。这可以通过多种方式实现，但最常见的是通过使用算法。算法是一套规则或指令，可以按照这些规则或指令来解决一个问题。在人工智能的情况下，算法被用来教计算机如何做决定。

在过去，人工智能主要用于简单的任务，如下棋或解决数学问题。现在，人工智能正被用于更复杂的任务，如面部识别，自然语言处理，甚至是自动驾驶。随着人工智能的不断发展，不知道它在未来会有什么能力。随着人工智能能力的迅速扩张，了解它是什么，它如何工作，以及它的潜在影响是很重要的。

人工智能带来的好处是巨大的。由于具备自我决策的能力，人工智能有可能提高无数行业的效率，并为所有类型的人提供机会。在这篇文章中，我们将谈一谈GPT-3。

什么是GPT-3，它来自哪里？

GPT-3是由OpenAI创建的，这是一家位于旧金山的先锋AI研究公司。他们将自己的目标定义为 “确保人工智能惠及全人类”。他们创造人工智能的愿景很明确：一种不局限于专门任务的人工智能，而是像人类一样，执行各种各样的任务。

几个月前，OpenAI公司向所有用户发布了其名为GPT-3的新语言模型。GPT-3是Generative Pretrained Transformer 3的缩写，其包括可以通过一个称为Prompt（提示）的前提下生成文本的能力。简单地说，它具备高水平 “自动完成”的能力。例如，你只需就给定的主题提供两到三个句子，GPT-3将完成其余的工作。你也可以生成对话，GPT-3给出的答案将基于之前问题和答案的背景。

需要强调的是，GPT-3提供的每个答案只是一种可能性，因此它不会是唯一可能的答案。此外，如果你多次测试同一个前提，它可能会提供一个不同的甚至是矛盾的答案。因此，它是一个根据先前所说的内容返回答案的模型，并将其与你所知道的一切联系起来，以获得最合理的答案。这意味着它没有义务用真实的数据给出答案，这是我们必须考虑到的问题。这并不意味着使用者不能透露相关的工作数据，但GPT-3需要将这些数据和上下文信息进行对比。上下文的背景越全面，你得到的答案越合理，反之亦然。

OpenAI的GPT-3语言模型是预先训练好的，训练包括研究互联网上的大量信息。GPT-3被输入了所有公开的书籍、维基百科的全部内容，以及互联网上数以百万计的网页和科学论文。简而言之，它吸收了我们在整个历史中在网络上发表的最重要的人类知识。

在阅读和分析这些信息后，语言模型在位于48个16GB的GPU上的700GB模型中创建了连接。为了让我们理解这个维度，之前的OpenAI模型，GPT-2模型规模为40GB，分析了4500万个网页。差异是巨大的，因为，GPT-2有15亿个参数，而GPT-3有1750亿个参数。

我们做个测试吧？我问问GPT-3如何定义自己，结果如下：

GPT-3：能写作的人工智能

如何使用GPT-3

为了能够使用GPT-3并进行测试，我们唯一要做的是去他们的网站，注册，并添加个人信息。在过程中会被询问：你会把人工智能用于什么事情，对于这些例子，我选择了“个人使用”选项。

我想指出的是，根据我的经验，在英语语境中的效果会更好。这并不意味着它在其他语言中工作得不好；事实上，在西班牙语中它做得非常好，但我更喜欢它在英语中提供的结果，这就是为什么从现在开始我所展示的测试和结果都用的是英语。

当我们进入时，GPT-3给了我们一个免费的礼物。一旦你用你的电子邮件和电话号码注册，你将有18美元可以完全免费使用，不需要输入付款方式。虽然看起来不多，但事实上，18美元是相当多的。为了给你一个概念，我已经用人工智能测试了五个小时，我只花了1美元。稍后，我将解释价格，以便我们更好地理解这一点。

一旦我们进入网站，我们将不得不去游乐场（Playground）部分。这是所有奇迹要发生的地方。

GPT-3：能写作的人工智能

提示+提交（Prompt+Submit）

首先，在网上最引人注目的是大文本框。这就是我们可以开始向人工智能输入提示（记住，这些是我们的要求和/或指示）的地方。这就像输入一些内容一样简单，在这种情况下是一个问题，然后点击下面的提交按钮，让GPT-3回答我们并写出我们所要求的内容。

GPT-3：能写作的人工智能

预设

预设是针对不同任务随时执行的功能。它们可以在文本框的右上方找到。如果我们点击其中的几个，”更多的例子 “将打开一个新的屏幕，在那里我们将有整个列表可用。当选择了一个预设，文本区的内容就会用默认文本更新。右侧边栏的设置也会被更新。例如，如果我们要使用 “语法修正 “预设，我们应该遵循以下结构以获得最佳效果。

GPT-3：能写作的人工智能

模型

用来训练GPT-3的大量数据集，它是GPT-3如此强大的主要原因。然而，更大并不总是意味着更好。由于这些原因，OpenAI提供了四个主要模型。当然还有其他模型，但我们会被建议使用最新的版本，也就是我们现在使用的。

可用的模型被称为Davinci, Babbage, Curie, and Ada。在这四个模型中，Davinci是最大和能力最强的，因为它可以涵盖其他引擎所执行的任何任务。

我们将对模型和模型所匹配的任务类型进行概述。请记住，虽然较小的引擎可能没有经过那么多的数据训练，但它们仍然是通用的模型，对于某些任务来说，是非常可行和便利的。

Davinci

如上所述，它是能力最强的模型，可以做任何其他模型能做的所有事情，通常只需较少的指令。达文西能够解决逻辑问题，确定因果关系，理解文本意图，制作创意内容，解释人物动机，并处理复杂的总结任务。

Curie

这个模型试图平衡算力和速度。它能做Ada或Babbage能做的任何事情，但它也能处理更复杂的分类任务和更细微的任务，如总结、情感分析、聊天机器人应用和问答。

Babbage

它的能力比Ada略强，但效率不高。它可以执行与Ada相同的所有任务，但也可以处理稍微复杂的分类任务，是对文档与搜索查询的匹配程度进行分类的语义搜索任务的理想选择。

Ada

最后，这通常是最快和最廉价的模型。它最适合于不太细微的任务，例如，解析文本、重新格式化文本和更简单的分类任务。你向Ada提供的上下文越多，它的表现就越好。

引擎

我们可以调整的其他参数，以获得对我们的提示的最佳响应，这就是模型。

控制GPT-3引擎输出的最重要设置之一是Temperature。这个设置控制生成的文本的随机性。数值为0时，引擎是决定性的，这意味着对于给定的文本输入，它将总是产生相同的输出。数值为1时，引擎会冒最大的风险，并使用大量的创造力。

你可能注意到，在一些你自己能够运行的测试中，GPT-3会在一个句子的中间停止。为了控制我们将允许生成的最大文本量，你可以使用以token指定的 “最大长度 “设置。我们将在后面解释这个token是什么。

“Top P”参数可以控制GPT-3文本的随机性和创造性，但在这种情况下，与概率范围内的token（单词）有关，取决于我们放置它的位置（0.1将是10%）。OpenAI文档建议在Temperature和Top P之间只使用一个函数，所以当使用其中一个时，确保另一个被设置为1。

另一方面，我们有两个参数来惩罚GPT-3给出的答案。其中一个是 “频率惩罚”，它控制模型重复预测的倾向。它也减少了已经生成词的概率，并取决于一个词在预测中已经出现了多少次。

第二个惩罚是存在惩罚。存在惩罚参数鼓励模型进行新的预测。如果一个词已经在预测文本中出现过，存在惩罚就会降低该词的概率。与频率惩罚不同，存在惩罚并不取决于单词在过去预测中出现的频率。

最后，我们有一个 “最佳 “参数，它为一个查询产生了几个答案。Playground会选择最好的一个响应我们。GPT-3会提出警告，针对提示会产生几个完整的答案，这会导致花费更多的token。

历史记录

为了完成这个部分，”提交 “按钮旁边的第三个图标，将显示我们对GPT-3的所有的历史请求。从中可以找到效果最好的回应所对应的提示。

费用和代币

一旦免费的18美元额度耗尽，GPT-3还提供了一个继续使用其平台的方法，并不是每月订阅或类似的东西。价格会与使用直接相关。换句话说，就是按照代币收费。这是一个用于人工智能的术语，代币与产出的成本有关。一个代币可以是任何东西，从一个字母到一个句子。因此，很难确切知道给人工智能的每一次使用的价格。但鉴于它们通常是美分，只要稍加尝试，很快就能看到每件事情的成本是多少了。

虽然OpenAI只向我们展示了十几个GPT-3使用的例子，但我们可以看到每一个例子所花费的代币，从而更好地了解它是如何运作的。

这些是版本和它们各自的价格。

GPT-3：能写作的人工智能

为了让我们了解一定数量的字可能要花费多少钱，或者给我们一个关于标记如何工作的例子，我们有以下工具，叫做Tokenizer。

它告诉我们，GPT系列模型使用标记来处理文本，这些标记是文本中发现的常见字符序列。模型了解Token之间的统计关系，并在生产序列中使用下一个Token时被选中。

最后，这是一个低的水平的例子，看看同样的例子将花费我们多少钱。

GPT-3：能写作的人工智能