火山引擎超清修复Beyond经典演唱会,技术能力已对外开放
7月3日晚,抖音携手环球音乐旗下厂牌宝丽金,直播经过火山引擎超清修复的Beyond Live1991生命接触演唱会及纪念音乐会精选内容,吸引了超1.4亿人次观看。
Beyond是一支成立于1983年的摇滚乐队,随着粤语音乐的兴起,Beyond乐队的名字成为一个时代的文化印记。“Beyond Live1991生命接触” 是Beyond第一次在红磡体育馆举办的演唱会,宝丽金随后发行的影碟在90年代几乎一盘难求。此后的31年中,这场演唱会成为几代歌迷的音乐启蒙和青春记忆。
受限于当时的拍摄器材、存储介质及录音设备技术,演唱会母带及网络上流传的各版本音视频质量欠佳。为了提升观看和听感体验,再现Beyond这场经典之作,火山引擎从画质和音质两个方面进行了修复。
火山引擎多媒体实验室介绍,早期软硬件设备落后,导致影片在制作、压缩、传输等过程中存在画面模糊、纹理丢失和噪声瑕疵等问题。提升画质的同时恢复尽可能多的细节,优化色彩并保留复古感,以及调节不同大小、姿态人像的修复效果,是本次修复的难点。
“我们的目标是从画面整体清晰度、人像五官复原度、色彩亮度、流畅度、美观度等方面对画质进行提升。”画质上,本次修复通过清晰度增强和瑕疵修复、分区域色彩亮度增强等算法,处理早期软硬件设备落后导致的问题。视频分辨率从不足540p提升到接近4K水平,帧率从25fps提升到60fps。
通过人像增强算法修复,黄家驹面部的眼线、毛孔等细节清晰可见
此外,火山引擎多媒体实验室还自研自适应人像增强算法,针对人脸压缩损伤、模糊、低分辨率等问题,进行修复增强。该技术基于深度学习,在消除人脸整体的模糊和压缩损伤的同时,进一步对人脸关键的五官进行细节重建。修复后,人物面部的胡须、毛孔清晰可见,给观众带来更佳视觉感受。
在音质修复方面,火山引擎音频技术团队通过音频降噪、音频超分和响度算法,消除噪声提升音质,解决响度、噪声干扰、带宽不足等问题。
与传统降噪方案不同,本次降噪算法针对音乐场景和人声场景,实现了兼容AI降噪算法,在保留音乐和人声的前提下,抑制周围噪声。音频超分算法则对演唱会中的人声部分进行频带拓展,丰富高频信息,使人声更加清晰。从频谱图中可以看到,通过超分模块的处理,原始音频的高频部分得到了拓展和增强。
通过音频超分算法的处理,原始音频大于12kHz的高频信息得到了一定程度的补全修复
由于演唱会的拾音情况不同,导致演唱会唱歌的声音有时候相对乐器声和环境音过小,火山引擎音频技术团队利用响度算法首先单独提取唱歌的部分,然后调整唱歌部分的响度,最后再混合,使得整体的人声更加舒适。
据了解,演唱会的这些修复能力均已通过火山引擎智能处理、音频技术产品对外提供服务。另外,火山引擎还对外开放了画质全链路端到端解决方案,覆盖上传、转码、传输、消费等环节,实现视频内容在画质、码率、体验等方面的全方位优化。
数字化技术正成为驱动文化传承的力量。相关报道显示,2021年10月,西瓜视频及火山引擎推出“经典视频4K修复计划”,通过技术手段,已累计修复完成71部经典动画片,修复后的内容可在西瓜视频、鲜时光TV免费观看。
火山引擎相关负责人介绍,未来还会利用更多先进技术修复经典影像,让经典焕发新生。