2月15日,4K修复版《大闹天宫》在西瓜视频上线,引起网友广泛关注。#国漫巅峰大闹天宫4k修复版上线#话题登上微博热搜。
其中最值得注意的是,这是火山引擎多媒体实验室首度使用AI技术对这部经典动画完成4K分辨率级别的复原。
其实早在去年10月,西瓜视频联合火山引擎就已经推出“4K中视频修复计划”,同时上线了4K修复版的《黑猫警长》《葫芦兄弟》《哪吒传奇》等6部经典动画。
在AI算法的助力之下,清晰度低、流畅度低、色彩失真以及瑕疵等问题得以更高效地优化解决。网友们直呼:高清版大圣归来了!
01 电影修复的进化史
电影修复,是指对年代久远的电影进行修复处理,还原影像的原貌。“4K修复”,即是指按照“4096×2160”4K分辨率的标准修复电影画质。
出现在4K修复技术之前的是2K修复,主要是清除影片画面的杂质。而目前的4K修复技术,主要包括胶片清洁、数字化扫描、颜色校正、声画合成等环节,按照物理修复、数字修复、艺术修复几个步骤完成。
老电影修复在过去主要依靠人工。但影片的修复工序十分繁琐细致,以至于修复过程相当漫长,工作量极大。一部时长2小时的电影,1秒拍摄24帧,其中1帧即1张图,如果通过4K修复技术来还原,相当于要精修约17万张图。
如今,AI技术在电影修复领域可谓是大有可为。“AI初修+人工精修”的复合工作方式,使修复效率得到大幅提升。
例如,在4K修复中的去噪环节中,一名修复师每天大概只能人工修复一两百帧。但如果使用数字化修复算法,就能以强大算力资源每秒钟处理成千上万帧。
02 对4K修复施加“AI魔法”
火山引擎多媒体实验室研究员赵世杰在“经典中视频4K修复”发布会上介绍,AI助力4K修复,主要是从清晰度、流畅度、色彩以及瑕疵这四个维度来体现的。
提升清晰度
在清晰度维度上,主要采用了超分辨率重建和去模糊算法,这两项技术由使用机器学习的方式实现。
对海量高清和低清视频的数据进行分析,使算法模型可以学习到高清视频的特性,从而能够完成视频从低清到高清的转换,并且生成缺失的细节。
提升流畅度
视频的卡顿感可以由提升帧率来优化。运用智能插帧算法,通过对前后帧的内容进行分析,生成中间帧内容,将原先不足15的帧率,提升至60以上。
色彩增强
关于色彩失真,首先利用算法对画面色偏进行自动化检测和矫正,让其恢复原有的观感。
其次,为了适应最新显示设备的色彩标准,对老片的亮度范围进行拓展,色彩空间进行转换,用更宽的亮度和更丰富的色彩来显示。
消除瑕疵
在消除瑕疵方面,需结合传统信号处理以及深度学习算法。对于较小的雪花颗粒噪声,使用传统算法进行处理;对于较大的坏点和划痕,使用机器学习算法进行识别和修补。
03 AI修复 将成行业大势所趋
AI修复既解决了传统电影修复行业目前面临的人才难题,同时也节约了各类修复成本,大幅提升了修复效率。
不少传统电影修复机构已经对AI修复技术开展相关研究,而互联网企业也开始利用自身在AI领域的技术优势,纷纷入局影片修复领域。
中国电影资料馆与中国传媒大学共同研发的AI技术,能运用神经网络技术,修复老片中缺失的声音,并细化声音中的情绪。
爱奇艺通过自主研发的ZoomAI视频增强技术,对50部经典国剧、30部经典电影进行了修复与增强,并对40部纪录片、15部动画完成了插帧。
2022年,火山引擎和西瓜视频还将共同修复100部经典动画,并在4K修复中使用火山引擎自研的算法,首批合作伙伴包括上海美术电影制片厂和央视动漫集团。
曾经巨额的人力成本和时间成本,使电影修复行业一直被公认为成本收益难成正比的“情怀”行业。而如今在AI的助力之下,电影修复行业也许将既有“情怀”,又有“生意”。
04 未来可期 但也仍在路上
AI也并不是万能的。目前的AI修复技术仍有不完善之处:过度涂抹,将修复变成“P图”;修改选色,破坏原电影的风韵;画面细节被误判为瑕疵并抹除等等。