GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌

电脑技巧6个月前发布 admin
12 0 0

GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌

本文详细介绍了谷歌在I/O2024大会上所发布的一系列新技术和产品,展示了谷歌在人工智能领域的强大实力和创新能力。谷歌推出的Gemini1.5Pro和ProjectAstra等工具具有与OpenAI竞争的潜力,其中Gemini1.5Pro的上下文长度甚至达到了200万token,为用户提供了更广泛的信息接收和处理能力。谷歌的文生视频模型Veo以及多步推理的AIOverview等新功能也展现了谷歌在语音识别、视觉技术和搜索体验方面的强大表现。

GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌

Gemini1.5Pro的强大之处在于其超长的上下文窗口,能够处理大量信息并为用户提供个性化的服务。通过Gemini,用户可以利用多模态功能处理各种数据格式,例如视频、音频和文本,实现更加便捷和高效的信息处理和交流。谷歌的Agent功能也为用户提供了更智能的服务体验,例如帮助管理购物退货、探索新城市服务等,展示了Gemini在智能化生活方面的应用前景。

GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌
GPT-探索新一代文本生成技术的威力-2-小时复仇硬刚-谷歌

整体而言,谷歌的理念是利用Gemini的多模态、超长上下文和智能体能力,整合世界上的各种信息资源,使其对每个个体都变得可触及和可利用。这些技术的推出标志着人工智能领域的不断进步,谷歌致力于改变人们获取信息、与技术互动的方式,让智能化服务真正融入人们的生活中。


百度文心一言是什么?你对文心一言有什么期待?

网络文心一言是每日更新的一句古诗词,旨在激发读者的思考,增强文人文魂。我期待文心一言能够带给我更多美好的文学体验,更深刻的文化意境,以及更多有趣的历史故事。

进入3月中旬,全球科技巨头再次竞相亮相大语言模型赛道。

一周之内,开发出ChatGPT的美国初创公司OpenAI,对OpenAI投入巨资的科技巨头微软,以及中国互联网龙头企业网络,相继发布了在大语言模型(LLM)领域的最新动态。这也再次引发了全球对该领域的关注。

当地时间3月14日,OpenAI公布了其大型语言模型的最新版本——GPT-4,它比GPT-3.5的问答质量和技术都有明显提升。

3月16日下午,网络开启新一代大语言模型、生成式AI产品文心一言测试,从而成为第一家加入该赛道竞争的中国企业。

在发布会现场,网络创始人、董事长兼首席执行官李彦宏通过问答的形式,展示了文心一言在文学创作、商业文案创作、数理推算、中文理解、多模态生成等五个使用场景。几个小时后,微软宣布,将把GPT-4接入Office全家桶,新名为“Microsoft 365 Copilot”。

正如财经E法在2月17日发布的文章(OpenAI独家回应|ChatGPT为何不向所有中国用户开放注册?)所述,中国内地和中国香港的手机号均无法注册ChatGPT账号。此外,虽然OpenAI的应用程序编程接口(API)已向161个国家和地区开放,但不包括中国内地和中国香港。

一方面,业界普遍关注,在AIGC(生成式人工智能)势不可挡的科技浪潮中,谁将成为下一个弄潮儿?另一方面,在中美科技竞合的敏感期,各方亦颇为关注网络迈出的第一步带来的涟漪,以及中国企业该如何应对。

01“真的ready了吗?”

3月16日,李彦宏身着白衬衫和运动鞋演讲。开场就直面疑问,“最近一段时间,很多朋友问我,为什么是今天,你们真的ready了吗”?

李彦宏的回答是,虽然网络已投入AI研究十多年,为发布文心一言做了充分准备,但“不能说完全ready了”,因为文心一言对标ChatGPT、甚至是GPT-4,门槛很高,还“有很多不完美的地方”。但他强调“一旦有了真实的人类反馈,文心一言的进步速度会非常快”。

李彦宏解释,之所以选择当天发布,是因为市场有需求:客户和合作伙伴都希望能早一点用上最新最先进的大语言模型。

如何理解李彦宏所言的“对标GPT-4的门槛很高”?

当地时间3月14日,OpenAI公布了其大型语言模型的最新版本——GPT-4。值得注意的是,GPT-4是大型的多模态模型,即能够接受图像和文本类型的输入。而GPT-3.5只能接受文本输入。

在展示视频中,OpenAI总裁兼联合创始人格雷格·布罗克曼(Greg Brockman)用笔和纸画了一幅网站草图,并将图片输入GPT-4。仅1到2秒后,GPT-4就生成了网页代码,制作出了与草图高度相似的网站。根据OpenAI发布的实验数据, GPT-4模型相较前一代GPT-3.5已取得了巨大的进步,在许多专业测试中表现出超过绝大多数人类的水平。

浙江大学国际联合商学院数字经济与金融创新研究中心联席主任盘和林认为,文心一言未来还有待全面开放来获得用户检验。无论是通过B端API还是直接向C端用户开放,用户体验口碑都是硬道理。当前ChatGPT没对中国用户开放,在国内市场,网络将获得先发优势。

对OpenAI和网络的产品均做过测评的艾媒咨询CEO兼首席分析师张毅表示,GPT系列大模型,包括GPT-4与文心一言本质上都是同一类产品,只是它们各自的数据覆盖范畴和数据模型的积累长短不一。从短期看,OpenAI的产品准备时间相对更加充足,智能程度暂时领先一些。但是对文心一言而言,能在这么短的时间内训练出这样的一个产品,也是非常了不起的。

同时,张毅也对网络做出更好产品更有信心,他的理由是,从人工智能、大数据、大模型的人才储备来看,中国会更有优势。

中央财经大学数字经济融合创新发展中心主任陈端则认为,与海外竞争对手相比,网络最大的优势是立足本土,构建了语言和文化层面理解的护城河。

作为中国公司研发的大语言模型产品,文心一言的中文理解能力备受关注。重要原因是,此前很多评论人士认为,ChatGPT的中文问答能力不如英文问答能力强。

李彦宏表示,作为扎根于中国市场的大语言模型,文心一言具备中文领域最先进的自然语言处理能力。在现场展示中,文心一言正确解释了成语“洛阳纸贵”的含义、“洛阳纸贵”对应的经济学理论,还用“洛阳纸贵”创作了一首藏头诗。

李彦宏称,文心一言的训练数据包括:万亿级网页数据,数十亿的搜索数据和图片数据,百亿级的语音日均调用数据,以及5500亿事实的知识图谱等,这让网络在中文语言的处理上能够独一无二。

受访专家也指出,由于汉语的特殊性,中国企业在研发大模型时面临的难度更大,但若突破了,也会在提供本土服务时,具备更大的优势。

法国里昂商学院人工智能与商业分析教授丁文璿日前对媒体指出,语言对话模型训练,需要让机器对文字产生理解,英语比中文稍微容易一些。丁文璿解释,中国人工智能技术所处理的中文语言,大多都是象形词,而英文是解释性的,相较而言词语也并非特别丰富。

此外,上海交通大学约翰·霍普克罗夫特计算机科学中心助理教授林洲汉认为,未来大语言模型大概率会往多模态、交互式的方向发展,进一步将视觉、语音、强化学习等领域的技术综合进来。李彦宏也表示:“多模态是生成式AI一个明确的发展趋势。未来,随着网络多模态统一大模型的能力增强,文心一言的多模态生成能力也会不断提升。”

在多模态生成方面,李彦宏展示了文心一言生成文本、图片、音频和视频的能力。文心一言在现场用四川话朗读了一段内容,并根据文本生成了一段视频。但李彦宏透露,文心一言的视频生成成本较高,现阶段还未对所有用户开放,未来会逐步接入。

李彦宏称,文心一言的训练数据包括:万亿级网页数据,数十亿的搜索数据和图片数据,百亿级的语音日均调用数据,以及5500亿事实的知识图谱等,这让网络在中文语言的处理上能够独一无二。

受访专家也指出,由于汉语的特殊性,中国企业在研发大模型时面临的难度更大,但若突破了,也会在提供本土服务时,具备更大的优势。

法国里昂商学院人工智能与商业分析教授丁文璿日前对媒体指出,语言对话模型训练,需要让机器对文字产生理解,英语比中文稍微容易一些。丁文璿解释,中国人工智能技术所处理的中文语言,大多都是象形词,而英文是解释性的,相较而言词语也并非特别丰富。

此外,上海交通大学约翰·霍普克罗夫特计算机科学中心助理教授林洲汉认为,未来大语言模型大概率会往多模态、交互式的方向发展,进一步将视觉、语音、强化学习等领域的技术综合进来。李彦宏也表示:“多模态是生成式AI一个明确的发展趋势。未来,随着网络多模态统一大模型的能力增强,文心一言的多模态生成能力也会不断提升。”

在多模态生成方面,李彦宏展示了文心一言生成文本、图片、音频和视频的能力。文心一言在现场用四川话朗读了一段内容,并根据文本生成了一段视频。但李彦宏透露,文心一言的视频生成成本较高,现阶段还未对所有用户开放,未来会逐步接入。

发布会前后,网络的股价经历了大落大起。3月16日,港股网络盘中股价跌幅一度扩大超10%,报120.1港元。截至收盘,网络股价跌幅为6.36%,报125.1港元。但网络股价在美股势头强劲,当日网络美股开盘低开高走,振幅超7%。截至收盘,报138.16美元,涨幅为3.8%。3月17日,网络港股表现强势,盘中一度大涨超15%。截至当日收盘,网络港股涨幅为13.67%,报142.2港元。

文心一言宣布开启邀请测试一小时内,排队申请文心一言企业版API调用服务测试的企业用户已达3万多家,申请产品测试网页多次被挤爆,网络智能云官网流量飙升百倍。

文心一言的市场热度持续飙升,资本市场也给予了价值重估。张毅认为,这也代表了公众对大语言模型/生成式AI “既期待,又担忧,然后是希望”的心情。

02谁都不能错过的科技革命

事实上,“真的ready了吗?”并不仅针对网络,也是伴随此轮“ChatGPT”热潮以来,公众普遍的疑问。

李彦宏观察到,从2021年开始,人工智能技术开始从“判别式”向“生成式”转变。

创新工场董事长兼CEO李开复3月14日在一场趋势分享会上表示,AI 2.0时代的第一个现象级应用,就是以GPT-4为代表的AIGC,又称生成式AI(Generative AI)。李开复表示,AI2.0 是绝对不能错过的一次革命,它将会是一个巨大的平台性机会,这个机会将比移动互联网大十倍。他还表示,AI 2.0也是中国在AI领域的第一次平台角逐机会。

受访专家普遍认为,此前全世界的AI企业都遇到了一个极大的问题:即使技术储备十分丰富,AI应用并没有给它们带来丰厚的收益。造成这一问题的原因在于,AI产品的应用主要集中在B端(企业用户)和G端(政府用户),AI产品在进入企业或机构时往往流程复杂,这在某种程度上会限制AI产品在市场上的快速扩张。

因此,张毅认为,AIGC的产品应用方向在C端更有可能产生巨大的商业机会。他分析说,在美国市场,此前C端市场被谷歌、亚马逊、Meta等企业抢占,让微软压力非常大,更需要一款产品来扳回一局。在中国市场,网络的优势和谷歌一样,都有强大的搜索引擎对数据的抓取能力,以及储存、整理、分析能力的基础。中国本身拥有十几亿人口的巨大市场,网络完全可以做得很优秀。

“网络和微软、谷歌本质上是两个不同市场的竞争,所以我相信文心一言以及系列产品也一定会跑出来。”张毅说。

李彦宏坚称,文心一言不是“中美科技对抗的工具”。但他也承认,ChatGPT 的成功,加快了网络推出该产品的进度。

网络CTO王海峰表示,人类进入AI时代,IT技术的技术栈可以分为四层:芯片层、框架层、模型层和应用层。网络是全球为数不多、在这四层进行全栈布局的人工智能公司,在各个层面都有领先业界的自研技术。例如,高端芯片昆仑芯、飞桨深度学习框架、文心预训练大模型以及搜索、智能云、自动驾驶、小度等应用。王海峰认为,网络全栈布局的优势在于,可以在技术栈的四层架构中,实现端到端优化,大幅提升效率。

文心一言与ChatGPT一样,都使用了SFT(模型微调)、RLHF(从人类反馈中进行强化学习)以及Prompt(提示)作为底层技术。此外,文心一言还采用了知识增强、检索增强和对话增强技术。王海峰表示,这三项是网络已有技术优势的再创新。

陈端认为,在当前技术创新的集成性越来越高的当下,全栈式布局的单一公司在内部技术研发统筹能力和后期商业化进行中的协同能力上具有比较优势。

信心很重要,但差距无法忽视。

在本月初的两会期间,中国科技部部长王志刚在回应ChatGPT相关的问题时,用足球打比方,指出中国还有很多工作要做。“踢足球都是盘带、射门,但是要做到梅西(足坛巨星利昂内尔·梅西)那么好也不容易。”

王志刚指出,中国在这方面也作了很多布局,在该领域的研究也进行了很多年,并且有一些

成果,“但目前要达到像 OpenAI 的效果可能还要拭目以待”他补充道。

王志刚说,ChatGPT出来以后,引起了大家的关注。实际从技术本身源头来讲,它叫做NLP、NLU,也就是自然语言处理和自然语言理解。ChatGPT之所以引起关注,在于它作为一个大模型,有效结合了大数据、大算力、强算法,计算方法有进步。同样一种原理,做得有区别。比如大家都能做出发动机,但质量是有不同的。

然而,无论是ChatGPT还是文心一言,其背后的大语言模型是核心竞争力。北京大学王选计算机研究所研究员赵东岩告诉财经E法,国内大模型在数据、训练方法和费用投入方面和OpenAI还有一定差距。

一位科技系统人士则对财经E法指出,客观而言,中美目前在该领域的基础研究成果差距较大。这些基础研究成果包含自然语言处理(NLP)、数据库、GPU产品,“美国切断GPU芯片(的供应),(中国的)算力就跟不上”。

大型算力的核心在于高性能GPU芯片。北京航空航天大学软件学院助理教授周号益告诉财经E法,在GPU芯片等计算硬件上,中国与国际的差距在十年左右,硬件水平会严重制约大语言模型以及科学计算类模型的发展。

周号益认为,在技术和模型上,中国的科技公司与OpenAI并没有代差,差距仅在五年以内,在一些较小的技术领域差距只有2-3年。在数据采集方面,以GPT-3大模型为例,其训练的语料中中文只占5%,中国科技企业对中文语料的积累具有一定优势,因此极有可能在中文领域实现突破。

03巨头下一步:构建生态

对于以ChatGPT为代表的大语言模型赛道如何实现盈利,是各方公认的难题(ChatGPT爆火的冷思考:盈利难题与治理挑战)。

开发出ChatGPT的OpenAI仍是一家亏损中的创业公司。而2023年1月,投资银行摩根士丹利(Morgan Stanley)的一份分析报告称,ChatGPT的一次回复成本大约是谷歌搜索查询平均成本的6倍-28倍。

但腾讯研究院高级研究员曹建峰和经纬创投前副总裁庄明浩都认为,ChatGPT能带来多少盈利,并不是OpenAI关注的重点,重点是基于它的模型能长出什么样的服务和应用,从而构建起一个生态系统。“ChatGPT的发展需要一个产业生态,比如它和微软相关应用的融合就是很好的思路。”曹建峰说。

当地时间3月15日,微软副总裁兼消费者首席营销官余瑟夫·梅迪发文表示,新版必应搜索引擎已经在 GPT-4 上运行。另据OpenAI披露,GPT-4是在微软Azure AI 超级计算机上进行训练的,并将基于Azure 的AI基础架构向世界各地的用户提供 GPT-4服务。

谷歌则宣布开放其大语言模型PaLM的API接口,并推出面向开发者的工具MakerSuite。通过PaLM API 接口,开发者们可以将PaLM用于各种应用程序的开发。MakerSuite则可以让开发者快速对自己的想法进行原型设计,并且随着时间的推移,该工具将具有用于快速工程、合成数据生成和自定义模型调整的功能。

微软迅速跟进。当地时间3月16日,微软宣布将把GPT-4接入Office全家桶。新功能名为“Microsoft 365 Copilot”。

李彦宏则在发布会上表示,文心一言定位于人工智能基座型的赋能平台,将助力金融、能源、媒体、政务等千行百业的智能化变革。

根据文心一言的邀请测试方案,3月16日起,首批用户可通过邀请测试码,在文心一言官网体验产品,后续将陆续开放给更多用户。此外,网络智能云即将面向企业客户开放文心一言API接口调用服务。该服务于3月16日起开放预约。

截至3月18日早11点,排队申请网络智能云文心一言企业版API调用服务器测试的企业用户增加到9万家,网络收到关于文心一言合作的咨询 6588条。

陈端认为,这一轮的竞争,不仅是商业主体的竞争,实际上也是关乎下一轮国家数字竞争力的竞争。所以,网络的当务之急不完全是技术层面的研发,也需要引领更多初创型企业、生态合作伙伴加盟生态阵营。

在陈端看来,中国在构建生态系统上具有优势。陈端指出,中国的移动互联网经过多年发展,应用层生态化的配套创新已经非常成熟。应用层的很多中小微创业团队,在过去配合移动互联生态做了大量的局部、垂类场景端的创新,把过去的这种模式以及底层基础设施从移动互联迁移到大模型领域依然适用。

04中小企业还有机会吗?

面对大语言模型的浪潮,中国企业该如何抓住机遇,避免风险?

在中国,布局ChatGPT的企业有两种类型:第一种是传统的互联网大公司,第二种是一些初创企业。

陈端认为,目前市场上的初创公司已经错过了布局大模型的初始创业阶段。陈端分析说,

重新打造生成式AI企业,跟时机、底层的生态支撑度,还有创始人自身的阅历、经验、视野、个人IP的自然调动能力都是息息相关的。此外,大模型在前期的投入,不管是算力还是其他的成本,以及时间窗口都很重要。

陈端表示,目前,网络有能力把自己的其他的产品与文心一言协同,就像微软把Office与GPT-4协同推出Copilot,而“创业者单纯去拼大模型却没有配套生态,这是很成问题的”。

张毅也认为,对于能够有资金、实力支撑的企业来讲,单独构建大模型产品可能会更受资本和创业者的青睐。但对于中小企业来讲,依托文心一言的开放平台去嫁接自己在细分领域的应用,也是一个不错的选择。

因为要做出大语言模型,需要长时间,以及巨额资金的投入。

OpenAI成功的背后,是微软多年来的巨额投入。美国时间2023年1月23日,微软宣布将对OpenAI进行为期数年、价值数以十亿计美元的投资。在2019年和2021年,微软曾向OpenAI两次投资。2019年的投资为10亿美元,而2021年的投资未公开金额。

AI公司“彩云科技”的创始人袁行远在接受36氪采访时指出,要想跑通一次100亿以上参数量的模型,至少要做到“千卡/月”这个级别,即:用1000张GPU卡,然后训练一个月。即使不用最先进的英伟达A100,按照一张GPU五万元的均价计算,1000张GPU意味着单月5000万的算力成本,这还没算上算法工程师的工资。

“无论是哪家公司,都不可能靠突击几个月就能做出这样的大语言模型。”李彦宏在发布会上表示,深度学习、自然语言处理,需要多年的坚持和积累,没法速成。大模型训练堪称暴力美学,需要有大算力、大数据和大模型,每一次训练任务都耗资巨大。

网络提供的数据显示,网络近十年累计研发投入超过 1000 亿元。2022 年网络核心研发费用 214.16 亿元,占网络核心收入比例达到 22.4%。但网络并未透露大模型研发在核心研发费用中的占比。

李彦宏在发布会上表示,网络对文心一言的定位,是一个通用的赋能平台,金融、能源、媒体、政务等千行百业,都可以基于这个平台来实现智能化变革,实现效率提升,创造巨大的商业价值。李彦宏认为,大模型时代将产生三大产业机会,分别为新型云计算公司、进行行业模型精调的公司和基于大模型底座进行应用开发的公司,即应用服务提供商。

李彦宏断言,对于大部分创业者和企业来说,真正的机会并不是从头开始做ChatGPT和文心一言这样的基础大模型,这很不现实,也不经济。基于通用大语言模型抢先开发重要的应用服务,这可能才是真正的机会。目前,基于文本生成、图像生成、音频生成、视频生成、数字人、3D等场景,已经涌现出很多创业明星公司,可能就是未来的新巨头。

“大模型、生成式AI最终的产品形态还不得而知,所以这条路注定是长跑,需要整个科技界在资本、研发、模式创新上密切、持续地跟跑。”张毅说。

李开复认为,AI2.0会最先应用在能容错的领域,而毫无疑问最大的应用领域现在是内容创造。每个领域都可以把原有的App重写一次,创造出更赚钱的商业模式,最终AI2.0的生成能力会把成本降的几乎到0。

GPT系列:GPT-2详解

探索深度学习的瑰宝:GPT-2的全面剖析

无监督学习的里程碑

GPT-2的设计初衷是为了成为一款通用的智能模型,无需依赖繁琐的标注数据,能够适应各种语言处理场景。它的核心在于捕捉语言的无监督分布,通过巧妙的Task conditioning技术,实现了多任务的无缝推理,这使得GPT-2在无监督训练中独树一帜。

海量数据与先进技术的融合

训练GPT-2的征程始于40GB的WebText数据,经过Reddit链接的筛选,去除了维基百科的重复内容,确保了数据的多样性和丰富性。在输入层面上,BPE算法的应用使其能够处理字符范围,包括OOV(出界词)和大型词汇表,展现出强大的适应性。

模型结构的升级

相较于前作GPT-1,GPT-2在模型架构上进行了显著的提升,它采用了Transformer的升级版本,拥有更大的数据量(40GB vs 5GB)、1024维的context和512batchsize,以及更多层的TransformerDecoder,这一切都为它的性能提供了坚实的基础。

卓越的性能表现

从最小的GPT-1到庞大的BERT-large,再到GPT-2的15亿参数,每一步都是技术的飞跃。GPT-2在零样本数据集上的表现令人瞩目,尤其是在8个测试中,有7个成绩超越了当时的SOTA,特别是在Penn Treebank和WikiText-2上,展现出了显著的进步。

智能理解与推理的考验

GPT-2在Childrens Book Test中通过完型填空展示了对词类理解的精准,而在LAMBADA任务中,它展示了对长期依赖关系的深入理解,而非仅依赖局部上下文。在Winograd Schema Challenge中,它展现出处理常识推理和歧义的能力,而在阅读理解的CoQA测试中,更是证明了其对话历史依赖的处理能力。

文本生成与翻译的卓越

无论是CNN & Daily Mail的新闻摘要,还是英法互译任务,GPT-2都展现出了强大的文本生成和翻译能力,通过添加“TL;DR”引导的摘要,清晰地传达了文章精髓。在Natural Questions的问答挑战中,30个自信样本更是让人对其问答性能印象深刻。

新范式的引领者

总结起来,GPT-2不仅刷新了NLP领域的多项标准,而且凭借其海量训练数据和多任务适应性,为现有任务提供了通用的解决方案。尽管模型结构相对稳定,但其在任务适应性方面的突破性提升,无疑开启了NLP领域的新篇章。

百度文心一言宣布向全社会开放,同时还有全新重构的 AI 原生应用,哪些信息值得关注? 实际使用体验

关于网络文心一言向全社会开放以及全新重构的AI原生应用,有几个值得关注的信息:

1. 网络文心一言开放:网络文心一言是网络开发的语义理解模型,通过对用户输入进行理解和自动生成文本响应。这个开放意味着网络将允许广大用户和开发者使用文心一言的功能,从而将语义理解技术应用于更多场景中。

2. 全新重构的AI原生应用:这意味着网络已经对其AI应用进行了全面的改进和升级,以提升用户体验和功能性能。具体来说,应用程序可能会经历界面设计、功能扩展、性能优化等方面的改进,以更好地满足用户需求。

我说说实际使用的一些体验:

识图回答

刚打开文心一言,第一个吸引到我的功能就是聊天栏上有一个上传图片的图标,我立刻选择了一张照片上传。之后就会弹出一些功能提示,包括:看图写诗、V50文案、朋友圈配文助手等等。我选了个配文助手,风格输入了轻松幽默。

好家伙,这一通浮夸的文案把我给震惊了,这配文简直是放飞自我了。不敢想象如果我把这篇文案发送到朋友圈,身边的人该怎么看我,吓得我只好告诉它请保持:高冷、简洁、少字。它也读懂了我的难为情,回了我八个字:享受美食、感受美好。妙哉妙哉!

发现:更多内置回答模板

移动端的发现功能应该说是文心一言最大的亮点,可以说是把AI使用的门槛降低了很多。之前我把用接口搭建好的网站分享给朋友,最大的问题就是别人不知道能问些什么,该怎么问,而文心一言就很好的解决了这个问题,把很多模型的能力场景化了。

从模态能力来看的话,主要包括文生文、文生图和图生文三种。先来一个小红书探店文案试试效果。

这个结果整体还是比较惊喜的,可以看得出来文心一言在Prompt工程上还是下了功夫的。基本满足了小红书探店文案的基本要素:格式、表情、标签,对关键词提取分析的能力还算可以。不过同时也尝试了下用这个Prompt去写其他类型的小红书文案,比如野餐,出来的效果就是完全没有效果。说明这个Prompt是专门针对探店这个场景优化过的,不具备能力的迁移。整体来讲Prompt的质量还不错,AI回答能力还算可以。

AI绘画

接下来测试一下AI绘画的能力,先来两个之前被吐槽过很久的绘画词语:车水马龙和红烧狮子头。之前据说画出来是car、water、horse、dragon,以及真正的狮子头,看看现在能力长进了没有。

令人惊讶的是,居然两个都画对了,不知道是翻译功能升级了还是绘画能力升级了,还是说针对性优化了,总之现在的槽点是少了很多(怎么感觉乐趣也少了哈哈)。

从绘画的理解能力和绘图出来的效果,应该说能打个及格分了现在,也不会期望它能画的多好,如果有什么文章需要配图的话,用这个来画也算是一个简单易上手的选择。但是,值得吐槽的是,每一张画作的右下角都会标注:AI作画,这个用起来有点难受,还得要自己P掉。

另外画作是不支持通过连续对话进行调整的,只能输入完整描述进行重新绘画。

代码能力

最后再来对比下文心一言的代码能力,这个属于是AI能力的重要体现,也是能作为生产力的重要一部分。

这里提了一个编写合并Excel文件的python代码需求,文心一言整体写得还算比较简洁优雅,回答质量和ChatGPT并没有太大的差距,属于还算是可以用的水平。(这里就不和GPT4进行比较了,肯定还是有些差距的)

总结

在我打算写这篇文章之前,我看过了很多关于文心一言使用的文章,其中不乏很多啼笑皆非的故事。本以为使用下来,应该会有满满的槽点,但是并没有。文心一言的能力固然和国外的大模型还存在着一些差距,但是这个移动端的App整体来讲做得还是比较有诚意的,整体使用非常顺滑,回答非常快速,拥有足够多高质量的Prompt模板,在问答之间会有很多贴心的提示,整体都带来了不错的体验。

© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...