数智时代
本模块展示人工智能场景应用的AI
AI助力《大闹天宫》4K修复,爷童回!
发布时间:2022-02-22 浏览量:312

2月15日,4K修复版《大闹天宫》在西瓜视频上线,引起网友广泛关注。#国漫巅峰大闹天宫4k修复版上线#话题登上微博热搜。


其中最值得注意的是,这是火山引擎多媒体实验室首度使用AI技术对这部经典动画完成4K分辨率级别的复原。


其实早在去年10月,西瓜视频联合火山引擎就已经推出“4K中视频修复计划”,同时上线了4K修复版的《黑猫警长》《葫芦兄弟》《哪吒传奇》等6部经典动画。


在AI算法的助力之下,清晰度低、流畅度低、色彩失真以及瑕疵等问题得以更高效地优化解决。网友们直呼:高清版大圣归来了!


1.png


01


电影修复的进化史

电影修复,是指对年代久远的电影进行修复处理,还原影像的原貌。“4K修复”,即是指按照“4096×2160”4K分辨率的标准修复电影画质。


出现在4K修复技术之前的是2K修复,主要是清除影片画面的杂质。而目前的4K修复技术,主要包括胶片清洁、数字化扫描、颜色校正、声画合成等环节,按照物理修复、数字修复、艺术修复几个步骤完成。


老电影修复在过去主要依靠人工。但影片的修复工序十分繁琐细致,以至于修复过程相当漫长,工作量极大。一部时长2小时的电影,1秒拍摄24帧,其中1帧即1张图,如果通过4K修复技术来还原,相当于要精修约17万张图。


2.png


如今,AI技术在电影修复领域可谓是大有可为。“AI初修+人工精修”的复合工作方式,使修复效率得到大幅提升。


例如,在4K修复中的去噪环节中,一名修复师每天大概只能人工修复一两百帧。但如果使用数字化修复算法,就能以强大算力资源每秒钟处理成千上万帧。


02


对4K修复施加“AI魔法”

火山引擎多媒体实验室研究员赵世杰在“经典中视频4K修复”发布会上介绍,AI助力4K修复,主要是从清晰度、流畅度、色彩以及瑕疵这四个维度来体现的。


提升清晰度


在清晰度维度上,主要采用了超分辨率重建和去模糊算法,这两项技术由使用机器学习的方式实现。


对海量高清和低清视频的数据进行分析,使算法模型可以学习到高清视频的特性,从而能够完成视频从低清到高清的转换,并且生成缺失的细节。


3.png


提升流畅度


视频的卡顿感可以由提升帧率来优化。运用智能插帧算法,通过对前后帧的内容进行分析,生成中间帧内容,将原先不足15的帧率,提升至60以上。


色彩增强


关于色彩失真,首先利用算法对画面色偏进行自动化检测和矫正,让其恢复原有的观感。


其次,为了适应最新显示设备的色彩标准,对老片的亮度范围进行拓展,色彩空间进行转换,用更宽的亮度和更丰富的色彩来显示。


消除瑕疵


在消除瑕疵方面,需结合传统信号处理以及深度学习算法。对于较小的雪花颗粒噪声,使用传统算法进行处理;对于较大的坏点和划痕,使用机器学习算法进行识别和修补。


4.png


03


AI修复

将成行业大势所趋

AI修复既解决了传统电影修复行业目前面临的人才难题,同时也节约了各类修复成本,大幅提升了修复效率。


不少传统电影修复机构已经对AI修复技术开展相关研究,而互联网企业也开始利用自身在AI领域的技术优势,纷纷入局影片修复领域。


中国电影资料馆与中国传媒大学共同研发的AI技术,能运用神经网络技术,修复老片中缺失的声音,并细化声音中的情绪。


爱奇艺通过自主研发的ZoomAI视频增强技术,对50部经典国剧、30部经典电影进行了修复与增强,并对40部纪录片、15部动画完成了插帧。


2022年,火山引擎和西瓜视频还将共同修复100部经典动画,并在4K修复中使用火山引擎自研的算法,首批合作伙伴包括上海美术电影制片厂和央视动漫集团。


5.png


曾经巨额的人力成本和时间成本,使电影修复行业一直被公认为成本收益难成正比的“情怀”行业。而如今在AI的助力之下,电影修复行业也许将既有“情怀”,又有“生意”。


04


未来可期

但也仍在路上

AI也并不是万能的。目前的AI修复技术仍有不完善之处:过度涂抹,将修复变成“P图”;修改选色,破坏原电影的风韵;画面细节被误判为瑕疵并抹除等等。

生成分享海报