OpenAI公司日前发布了其文本生成模型GPT-4，引起了人们的广泛关注。但该公司表示，开发人员还不能在上面构建任何产品或服务，因为API仍在等待列表中。
这意味着只有少数用户有机会使用OpenAI公司这个最新的大型语言模型。人工智能初创公司Miðeind ehf就是其中之一，该公司是仅有的六家被选中对GPT-4进行测试的公司之一。
该公司的一个由12人组成的团队希望通过冰岛语训练GPT-4，他们在去年5月前往美国湾区测试GPT-4之后，成为硅谷这款最热门产品的早期测试者之一。Miðeind公司的首席执行官加入了一个冰岛政府代表团，探索如何利用科技来帮助保护该国的语言。
Miðeind公司的首席执行官与OpenAI公司的Sam Altman对GPT-4如何采用和开发像冰岛语这样的低资源语言进行了探讨。这些语言对大型模型语言的全球化应用构成了挑战，这是因为用于训练模型所收集的数据要少得多。
Miðeind公司的团队为此提出了他们对GPT-4如何改进的看法，人工智能用来保护冰岛语的万年历，以及GPT-4如何为猫创造出一个非常有趣的新术语。
令人兴奋的发展
Miðeind公司的这个团队的任务是，通过向GPT-4输入冰岛语强化学习数据(初始训练之后的阶段)，了解是否能提高GPT-4在语言应用和处理方面的表现。
Miðeind公司的机器学习团队成员之一Pétur Orri Ragnarsson表示，其结果在GPT-3.5上有了明显的改进，但当涉及到冰岛语的使用时，这个模型仍然不完美。他说，“它用冰岛语生成的文本往往是可以理解的，但仍然有一些语法错误。”
Ragnarsson表示，他可以看到GPT-3.5在一般的推理方面有巨大的改进。
他说：“最令人兴奋的是，可以要求它做一些事情，并解释为什么它会给出这个结果。GPT-3.5可以做到，GPT-4更好，因为这让人们感觉它的解释更合理或更可信。人们通常尝试的一件事是让GPT-4做一些事情，并解释过程中的每一步——它做得非常好。”
“可解释性”是开发生成式人工智能的人一直试图解决的一大问题，因为大型语言模型的功能方式意味着输出是在“黑箱”中生成的。这意味着即使是构建GPT-4的开发人员也不知道它是如何回答问题的，这意味着很难让这些模型展示它们的工作原理。
如果生成式人工智能要在医疗和法律等行业得到广泛应用，那么在这些领域工作的人需要能够信任模型的输出。
高阶思维
让Ragnarsson印象深刻的GPT-4的另一个特点是，它能够产生比以前的模型更敏锐的反应。他举了一个例子，用它来对一段文字进行情绪分析，其评价从中性到积极，评分从1到5分。
Ragnarsson说：“我输入了一段我认为相当中性的一句话，也就是一位客户向客服询问一些事情。”他惊讶地发现，GPT-4对这句话的评价是略微积极。
他说，“我问，‘请解释一下。’得到的答案非常令人惊讶。它说，‘虽然这句话本身是中立的，但正在考虑的行动将会改善他们的生活，所以从整体上看，这一句话是略微积极的。’”
他认为，这表明GPT-4已经学会了超越文本的“表面含义”。
Miðeind公司的首席运营官Linda Heimisdottir说，GPT-4的这些能力尤其令人印象深刻，因为据她所知，这个模型并没有专门训练过情感分析。
她说：“看到这样一个模型做了研究人员多年来一直在做的事情，而且它没有专门受过这方面的训练，这令人惊叹。看到它的成果和人们的想法真的很令人兴奋，这让人们觉得GPT-4有着巨大的应用潜力。”
勤奋的猫
GPT-4如何采用冰岛语的一个例子来自于该语言使用的复合词，复合词是将不同的概念组合成一个词。
Heimisdottir表示，她让GPT-4讲一个关于猫的故事，GPT-4给出了一个冰岛语单词，“kattafræðilega”，这是GPT-4发明的一个合成词，其大致的意思为 “cat”(猫)。
她解释说:“第一部分‘katta’是‘cat’的意思，但第二部分‘fræðilega’的意思是‘与理论有关’。GPT-4描述这只猫是‘kattafræðilega duglegur’。duglegur是一个冰岛词，意思是勤奋或努力工作。
当我让GPT-4解释它的意思时，它说：‘kattafræðilega duglegur’意味着这只猫特别勤奋。换句话说，它擅长抓挠、调查、追逐昆虫、寻找食物，对周围环境充满活力和兴趣。它很擅长做一只猫。”
Miðeind认为，“对于大型语言模型来说，要在较少使用的语言中实现真正的高性能，需要在初始训练中包含良好的多语言数据集，我们希望下一步可以进入预训练。”
像这样的研究对确保下一代人工智能不仅仅是进一步集中在英语世界的创新进步至关重要，因为硅谷的大型科技公司已经主导了大型语言模型领域。事实上，OpenAI公司选择Miðeind公司作为GPT-4的早期测试厂商，至少表明该公司对生成式人工智能具有全球视野，即使这是出于商业动机。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
