大型语言模型(LLM)由与数百万或数十亿个参数相关的人工神经网络组成,并在大量数据上进行训练——无论是自监督学习还是半监督学习技术——以理解和反馈信息。金融业开始利用这些工具的目的多种多样,包括预测股市、金融教育、经济咨询、交易策略、情绪分析和风险管理。随着ChatGPT带来的技术进步,以及专门为金融部门开发出的BloombergGPT和FinGPT。这三个LLM应用都有可能对金融部门产生影响。
ChatGPT
佛罗里达大学金融系的两位教授认为,在金融行业使用先进的LLM可以预测更准确的股市结果,会有利于交易策略。在这项研究中,作者使用ChatGPT“使用新闻标题的情绪分析来预测股市回报”。他们发现,与BERT、GPT-1和GPT-2等模型相比,ChatGPT表现最好,只有像ChatGPT这样更先进的模型才能分析大量数据来成功预测股市。
ChatGPT是一种基于生成式预训练转换器架构的LLM,由人工智能研究和部署公司OpenAI于2022年11月首次推出。根据作者的说法,“GPT架构使用多层神经网络来对自然语言的结构和模式进行建模。使用无监督学习方法,它在维基百科文章或网页等大量文本数据上进行预训练。”在这项研究中,作者使用了从安全价格研究中心提取的数据集和RavenPack(一家创立于2003年的专注于新闻分析数据的提供商)数据。
作者表示,他们研究的最终结果只是强调了ChatGPT作为金融业基于情绪分析预测股市的工具的潜力。他们还指出,还需要进行更多的研究。
BloombergGPT
今年3月,彭博社发布了自己名为BloombergGPT的LLM,这是一个专门为金融业开发的500亿参数LLM。根据彭博社发表的一篇研究论文,BloombergGPT由从彭博社数据源中提取的3630亿个Token数据集组成,该数据集还包括来自通用数据集的3450亿个Token。
研究人员在金融专用的自然语言处理(NLP)基准上验证了BloombergGPT。LLM还通过彭博社自己的一套内部基准进行了验证。他们发现,与GPT-NeoX、OPT66B、BLOOM176B和GPT-3等LLM相比,BloombergGPT表现最好。
彭博社机器学习(ML)产品和研究团队负责人Gideon Mann表示:“ML和NLP模型的质量取决于你输入的数据。”“得益于彭博社40多年来精心策划的财务文件集,我们能够精心创建一个大型、干净、特定领域的数据集,以训练最适合财务用例的LLM。我们很高兴能够使用BloombergGPT来改进现有的NLP工作流程,同时也能想出新的方法来使用该模型,以服务我们的客户。”
FinGPT公司
与基于专有知识的BloombergGPT不同,FinGPT是一种开源LLM,也是专门为金融行业开发的。FinGPT被描述为由Dragonfly和红杉支持的加密交易应用Finblox于2023年3月发布的人工智能金融顾问。该组织的目标是使金融部门的LLM民主化。
Finblox首席执行官Peter Hoang表示:“我们的使命是为用户提供控制其财务未来的知识和工具。”“我们致力于让每个人都能接触到金融知识和包容性。凭借其用户友好的界面和个性化的建议,FinGPT代表着朝创建一个更具包容性和吸引力的金融生态系统迈出了重要一步。”
哥伦比亚大学和纽约大学(上海)的一个研究小组认为,FinGPT可以为研究人员和用户提供为金融行业开发LLM所需的资源。FinGPT的数据集来自金融新闻、社交媒体、文件、趋势和学术机构。FinGPT采用以数据为中心的方法,并采用全栈框架。