五彩斑斕的黑，本是一個(gè)網(wǎng)絡(luò)熱梗，
但是凡事就怕認(rèn)真，
把這道題給“算”出來了。
或許很多老法師都知道，用一臺相機(jī)和一枚大光圈鏡頭就可以很輕松的拍出這樣五彩斑斕的黑，但可能他們不知道的是，如今的手機(jī)也已經(jīng)能夠借助影像 AI 算法來拍出足以媲美相機(jī)的照片甚至是視頻，并且在光斑特 效呈現(xiàn)上能夠?qū)崿F(xiàn)比相機(jī)更富創(chuàng)意的玩法。
視頻光斑特 效是怎么“算”出來的?
受限于物理體積，手機(jī)和專業(yè)器材相比在光學(xué)結(jié)構(gòu)上天生弱勢。早期手機(jī)攝影大多主攻后期優(yōu)化，對于前期成像的優(yōu)化卻略顯無力。而計(jì)算攝影的出現(xiàn)，則能最 大限度突破硬件局限，帶來接近相機(jī)的拍攝效果，模擬出只有專業(yè)相機(jī)才能拍出的視頻光斑特 效。
相對于專業(yè)器材在硬件光學(xué)結(jié)構(gòu)上的先天優(yōu)勢，想要在手機(jī)上實(shí)現(xiàn)視頻光斑特 效則要難得多，除了需要在手機(jī)硬件上進(jìn)行不斷提升，AI 算法更是需要根據(jù)不同場景做持續(xù)優(yōu)化。此外，視頻光斑特 效并不只是簡單的進(jìn)行視頻背景虛化，還需要 AI 算法對背景光源進(jìn)行實(shí)時(shí)的識別和渲染，在技術(shù)實(shí)現(xiàn)上可要比單純的背景虛化難得多。
那么一段光斑特 效的視頻又是如何拍出來的呢?
首先，AI 算法會基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對人物主體和背景進(jìn)行準(zhǔn)確識別和像素級分割，這時(shí)如果人物所處的拍攝環(huán)境光照條件比較復(fù)雜的話，還需要算法介入對人物和主體進(jìn)行有針對性的畫面優(yōu)化。在完成人物和背景的分割之后，AI 算法將會同時(shí)識別焦外光源并對背景高光進(jìn)行控制，之后再對背景進(jìn)行實(shí)時(shí)的渲染和光斑處理，最后經(jīng)過和人物主體的合成。到這里，一段具有視頻光斑特 效效果的影像就完整的保存在你的手機(jī)里了。
單從視頻光斑特 效特 效的實(shí)現(xiàn)路徑來看，似乎不是非常復(fù)雜，甚至有人會認(rèn)為這不就是“摳像”之后再加一個(gè)光斑“濾鏡”嘛?
視頻光斑特 效這道題，難也是真的難
事實(shí)上，一套光斑特 效 AI 算法的背后有著非常多技術(shù)實(shí)現(xiàn)上的難題需要攻克。
首要難題就是如何準(zhǔn)確的將人像和背景分離。通常在進(jìn)行拍攝時(shí)，人物的衣著、發(fā)型、場地光照和背景都有著極強(qiáng)的隨機(jī)性，例如畫面中的人穿著一件黑色大衣站在遠(yuǎn)處背景里滿是霓虹的夜色中，在這樣極端的拍攝環(huán)境下，如何清晰的識別衣服和背景的邊界，美好的呈現(xiàn)出一個(gè)五彩斑斕的黑，就是對 AI 算法能力的最 大考驗(yàn)。
其次，光斑特 效在滿足功耗要求的前提下，又能如何保證在視頻拍攝時(shí)展現(xiàn)出實(shí)時(shí)且連續(xù)的畫面呈現(xiàn)，也是擺在 AI 算法面前的一大難關(guān)。試想一下，當(dāng)你在拍攝視頻時(shí)打開光斑特 效，特 效畫面無法實(shí)時(shí)展現(xiàn)，并且畫面呈現(xiàn)在不同效果之間反復(fù)橫跳，這樣的體驗(yàn)一定是每一個(gè)用戶都不想要的，那么這就需要AI算法能夠帶來連貫且穩(wěn)定的持續(xù)“輸出”。
曠視視頻光斑特 效背后 AI 算法的秘密
曠視在影像 AI 算法領(lǐng)域已經(jīng)有了多年的技術(shù)積累，尤其是在光斑特 效的技術(shù)實(shí)現(xiàn)方面，團(tuán)隊(duì)借助豐富的行業(yè)實(shí)踐案例，已經(jīng)建立了一套在識別精度、分割精度以及渲染精度三個(gè)方面都處于行業(yè)領(lǐng)先位置的光斑特 效 AI 算法模型。
曠視光斑特 效算法展示
01物體識別
為了持續(xù)提升光斑特 效 AI 算法模型對人物和背景的檢測識別能力，曠視借助全監(jiān)督算法方式，對檢測模型進(jìn)行訓(xùn)練。數(shù)據(jù)庫涵蓋了不同的人體姿態(tài)、環(huán)境光線、景深距離等場景的圖像信息，來完成對算法模型的數(shù)萬次訓(xùn)練，最 大程度覆蓋用戶拍攝可能遇到的場景。龐大的數(shù)據(jù)庫和豐富的數(shù)據(jù)類型，也讓 AI 算法的識別準(zhǔn)確度不斷優(yōu)化。
02人像分割
在對影像實(shí)現(xiàn)準(zhǔn)確識別之后，就輪到人像分割算法來接棒之后的畫面處理工作。而在人像分割準(zhǔn)確度方面，我們通過測試和實(shí)踐不同的模型組合并和手機(jī)性能和效果數(shù)據(jù)進(jìn)行對比，最終得到了一套能夠同時(shí)滿足分割精度和手機(jī)功耗的算法模型，并深度結(jié)合視頻畫面信息以及場景數(shù)據(jù)來對模型進(jìn)行優(yōu)化，使高端算法模型的分割精度能做到平均 miu0.95以上，有效解決了人像分割算法在實(shí)時(shí)效果呈現(xiàn)和發(fā)絲級精細(xì)度兩個(gè)方面的行業(yè)難題。
03背景渲染
光斑特 效之所以能夠?qū)崿F(xiàn)如此炫酷的視覺觀感，實(shí)時(shí)光斑背景渲染算法模型同樣功不可沒。在渲染效果無限趨近于專業(yè)器材這條路上，曠視算法團(tuán)隊(duì)不斷圍繞背景亮度、光斑形態(tài)和穩(wěn)定性、虛化漸進(jìn)性等對算法模型持續(xù)打磨，借助大量的模型測試以及針對不同拍攝環(huán)境進(jìn)行定制化參數(shù)調(diào)試，使人物主體更加突出、背景光斑效果更加五彩斑斕，讓用戶在不同的設(shè)備上也能獲得統(tǒng)一的視覺美感。
當(dāng)然，我們還追求著更多創(chuàng)意玩法，未來將以不同的“電影鏡頭”效果特 效，給用戶帶來更多創(chuàng)作的樂趣。
技術(shù)的不斷迭代，讓曠視關(guān)于影像 AI 算法的研究也一直在延續(xù)。而作為一個(gè)以美為核心訴求的算法技術(shù)，光斑特 效 AI 算法未來也仍然會朝著更加接近于相機(jī)效果的視覺觀感而不斷優(yōu)化升級。
其實(shí)，光斑特 效只是曠視視頻特 效中的一個(gè)產(chǎn)品，還有視頻人像留色、人像虛化、人像雙重曝光等產(chǎn)品也在被廣泛的應(yīng)用于手機(jī)影像中，讓用戶享受到成為“生活的導(dǎo)演”的樂趣。未來，曠視將不斷拓寬計(jì)算攝影的應(yīng)用邊界，讓更多人能夠享受到 AI 算法所帶來的價(jià)值。
（推廣）