ChatGPT「代码解释器」正式解禁!30秒图片变视频,动嘴做表
家人们,终于来了!
刚刚,ChatGPT「代码解释器」测试版正式向所有Plus用户开放。
图片
OpenAI的科学家Karpathy对此还宣传了一波,代码解释器测试版相当强大。
它是你的个人数据分析师:可以读取上传的文件、执行代码、生成图表、统计分析等等。我预计社区将需要一些时间来充分展示其潜力。
图片
前段时间,GPT4能力下降在网上引起轩然大波,甚至有人只觉得它比GPT3.5强一点点。
而现在,代码解释器让人们再次感觉到,那个熟悉而且强大的GPT-4又回来了!
插件一上线,许多网友纷纷上手实测了一番。
功能解禁
那么,「代码解释器」究竟能做什么?
30秒,图片变视频
这不,有网友竟用ChatGPT把图片变成了视频。这效果简直比Midjourney、Runway还炸裂。
图片
这是如何做到的?网友给出了全套教程。
第一步:打开「代码解释器模型」。要启用它,请进入设置 -> 测试版功能 -> 代码解释器。
图片
步骤二:
从下拉菜单中选择「代码解释器」选项。然后,上传你想做动画的图片。
步骤三:
我想展示一家豪华餐厅的一些食物。因此,我要求ChatGPT将这个食物图片从左到右制作成动画。通过修改我的GPT提示(见下文),你可以创建你自己的动画。
具体prompt如下:
图片
步骤四:
按回车键。30秒后,ChatGPT会给你一个视频的下载链接。
图片
联合创始人Greg Brockman转发称,在不可能记住ffmpeg调用的情况下,用于图像转换的代码解释器。
图片
事实证明,「代码解释器」确实很牛,现在截个视频,只需要一句话就能搞定了。
图片
「有一定内存容量限制,不过处理小文件是没问题了。刚扔给TA 4秒钟的gen-2视频,截取前两秒,没问题,迅速搞定。
会自动试验合适的代码,如果要编程序也完全可以先扔给ta某一文件提出要求,然后看看ta提供出来的代码」。
图片
PDF转图片
国内知名互联网科技博主「宝玉」用「代码解释器」实现了把PDF转成图片。
图片
图片
以往需要将每页内容合并成一张图,而现在,一个prompt就搞定了。
图片
GIF变视频
图片变视频之外,还可以实现GIF变视频。
网友给ChatGPT的提示为:我上传一个GIF,你给我一个5s的MP4,用一个故事性镜头缓慢放大。
图片
上传GIF
图片
最后ChatGPT立即生成了视频
图片
此外,ChatGPT还能做个「矩阵」GIF出来。
图片
图片
生成QR码
在前两天,OpenAI宣布ChatGPT「代码解释器」即将全面开放。
就展示了一个能够生成QR码的例子,短短一句话,简直动嘴就能完成任务。
「口袋」数据分析师
代码解释器最大的用例就是进行数据分析。
比如,让它分析各国预期寿命数据,世界上最大的城市,(可上传CSV、word、PDF或视频文件)
图片
然后,与数据交谈,问任何你可能想问的问题。
或要求从数据中提取独特的随机趋势,以获得惊喜。
比如,从两个数据中找出独特的趋势,并以表格的形式显示出来。
图片
最后一步,可视化。
把数据变成你想要的任何图表或图形。最重要的是,只需点击一下完成。
比如,生成一个散点图,说明一个国家的人均GDP和其平均预期寿命之间的关系。
图片
看到这么强大「数据分析师」,网友又开始R.I.P了。
使用指南
「代码解释器」怎么用?来自沃顿商学院的一位教授Ethan Mollick专门为此写了一篇指南。
图片
首先,Mollick就指出,Code Interpreter这个名字的起法延续了OpenAI给他们自己的产品起烂名儿的悠久传统。
因为——虽说它叫「代码解释器」,但实际上它对那些根本不懂编程的人最有用。
本质上,「代码解释器」能让GPT-4上传和下载信息,并为用户编写和执行程序,这使得AI能够做到以前无法做的各种事情。
具体来说,它为AI提供了一个解决问题的通用工具箱(通过用Python编写代码)、超大内存(最大100MB,可以是压缩形式),且用户可以把这个工具箱集成到AI里面,发挥LLM的优势。
这有助于解决以前版本的 ChatGPT 存在的许多问题。比方说,
它允许AI处理数学(哪怕很复杂),还能更准确地处理单词(例如实际计算段落中的单词),底层原因就是,它可以编写Python代码来解决LLM在数学和语言方面的天然弱点。
比如像下图这样。
图片
可以看到,「代码解释器」能准确计算出段落中单词的数量。
此外,「代码解释器」降低了幻觉和瞎编乱造的发生机率。
当人工智能直接使用Python时,代码有助于让它「诚实」。道理也很简单,如果代码不正确,Python就会报错。由于代码操作的是数据,因此AI不会在数据中插入错误信息。
当然,这并不完美。AI仍然有概率会产生幻觉,但其实这并不常见,并且不太可能影响到代码或者数据本身。
这样一来,AI就更加靠近通用人工智能了——大量问题可以通过代码来解决。
而且,GPT-4非常擅长以新颖有趣的方式来决定什么时候用「代码解释器」。
Mollick举了个例子,假如他让GPT-4向用户证明地球是圆的,那么就会用上「代码解释器」,提供了多个论证,将文本与代码和图像结合在一起。
图片
此前,各个专业需要编程的人都得会点儿写代码,但写完了还得自己调试。就算之前的AI能提供点儿帮助,但是对于没有Python学习基础的人来说,还是挺难,得借助AI的力量反复修改代码。
而现在,有了「代码解释器」,AI就能自己纠错并且Debug了!
接着,Mollick又讲了如何用「代码解释器」来处理数据,这算是真实戳中大量用户痛点了。
Mollick表示,「代码解释器」的运行水平非常先进,可以自动处理许多复杂的定量分析,并且能够采用非常复杂的数据方法。
用户只需点击加号即可轻松上传数据,甚至是ZIP文件等压缩数据。
图片
同时,在提供数据时,用户能给个prompt就最好了。然后,AI就可以从上下文里找出数据含义和结构了!
此外,Mollick指出,在使用「代码解释器」时,用户更多的是在和AI进行「对话」,并不需要绞尽脑汁写一个又严谨又凝练的prompt出来。
就像和一个数据分析师聊天一样,和人怎么交谈,就怎么跟「代码解释器」沟通。
但是这里有两个特殊情况,还是需要写个类似prompt的东西。
一个是AI有时候会不记得自己能干什么,此时就需要一个prompt来给AI点醒。
比如:「你可以制作GIF,请尝试一下。」
另一种情况是在用户对结果不满意的时候,可以通过prompt来让「代码解释器」对结果进行优化。
比如:「请对该结果进行进一步的测试」,或者,「能不能让这个图表更好一点」。
图片
在加载完数据以后,GPT就可以执行数据合并和清理的操作了。具体处理方式相当复杂,但就像上面所提到的一样,只要把「代码解释器」当做一个和你面对面的数据分析师就好了。
同时,Mollick提醒广大用户,AI在自我纠错并改正以后最好还是查一下结果,万一出错呢。
图片
紧接着Mollick实操了一下,他让「代码解释器」搞个预测建模出来,预测超级英雄可能会有什么超能力。
可以看到,「代码解释器」构建了一个随机森林分布器。
图片
当然,在实操过程中,用户还是得和GPT「多沟通」。Mollick就不想让AI用数值数据的方法来估算缺失的数据,Mollick想直接放弃掉没有的部分。
但他指出,也可以和GPT说,让它换个别的处理方法。
之后,Mollick给GPT输入了一个「你可以进行另一个复杂和有趣的分析吗」的prompt。他表示,「代码解释器」选择的一些分析方法让他印象深刻。
就像下图这样。
「代码解释器」巧妙地分析了超级大国的网络情况。可以看到,方法多样,而且非常有意思。
图片
「代码解释器」最令人印象深刻的应该就是其推理能力了。Mollick概括为,非常「人性化」。
另外,可视化的交互性水平依然在线,且在不断提升。用户可以不断让AI来改进或者更改输出的内容。
Mollick让AI创建了一个交互式表格,包括6个图表,其中还有一个是3D的。
为了让图表更加美观,Mollick不断输入prompt,调整结果。
最终成果就像下图右边这样。
图片
十大惊人魔法
网友@GPTDAOCN近日总结了ChatGPT十大令人震惊的用例:
图片
代码解释器的可视化
1. 将GIF转换为MP4:可以将动态图片(GIF)转换为视频文件(MP4)的功能,使你更方便地分享和使用。
2. 创建各种图形:你可以利用这个功能来生成各种如柱状图、折线图、饼图等图形,直观地呈现和分析你的数据。
3. 从图像中提取颜色以创建PNG调色板:这个功能可以从任何一张图像中提取主要颜色,然后生成一个PNG格式的调色板。
4. 清洗数据以生成深入的可视化:如果你有一些混乱的数据,这个功能可以帮你进行清洗和整理,再将其转换为清晰的可视化图形。
5. 将CSV文件转换为GIF:这个功能可以将CSV(逗号分隔值)文件中的数据以动态的方式展示,生成一张GIF图。
6. 分析歌单以概括你的音乐品味:你可以利用这个功能来根据你的音乐歌单进行分析,从而概括你的音乐品味。
7. 将你的数据集转换为一个完全功能的HTML网站:这个功能能将你的数据快速转换成一个功能齐全的网站,方便你进行展示和分享。
8. 创建可下载的股票数据集:这个功能能帮你创建一份股票数据集,并且这个数据集是可以下载的,方便你进行更深入的分析和研究。
9. 将图像转换为文本文件:如果你需要从图像中提取文字,这个功能可以帮你将图像中的文字转换成文本文件。
10. 对未格式化的数据进行详细分析:对于那些没有规定格式的原始数据,这个功能能帮你进行深入的分析,以获取有价值的信息。
其实,代码解释器的用例远不止这些。
网友点评
我正在尝试ChatGPT代码解释器。到目前为止,我只能建议「每个开发者现在就开始研究它」。
Code Interpreter断了多少人的生路?太多行政每天低效率的处理数据,现在只需要自然语言就可以办公自动化。