域名預(yù)訂/競(jìng)價(jià)，好“米”不錯(cuò)過

時(shí)至今日，我們?cè)谟^影、追劇、直播時(shí)，發(fā)彈幕已成為大部分用戶的行為習(xí)慣。常規(guī)彈幕目前實(shí)現(xiàn)了彈幕與視頻分離，用戶可二選一，很好的規(guī)避了彈幕滿天飛的混沌狀態(tài)。但在直播、二次元等諸多的場(chǎng)景中，用戶更希望在不壓縮視頻質(zhì)量的情況下同時(shí)享受“看”與“說”。

“(Dan)幕”這個(gè)詞源于射擊游戲，彈幕網(wǎng)站也源于此， Niconico視頻網(wǎng)站是相對(duì)較早擁有彈幕功能的網(wǎng)站。隨后，彈幕網(wǎng)站憑借共鳴性、易操作性，及人人都能享受的再創(chuàng)作娛樂化與對(duì)話語(yǔ)權(quán)等特性風(fēng)靡。

自動(dòng)躲避人像的彈幕

近日，游戲直播平臺(tái)虎牙發(fā)布了AI智能彈幕功能，滿足了用戶“看”與“說”同時(shí)進(jìn)行的需求，當(dāng)用戶在彈幕設(shè)置中選擇該功能后，彈幕就會(huì)自動(dòng)躲避人像。也就是說，在直播過程中，用戶可以清晰的看到主播的整個(gè)臉以及整個(gè)輪廓。

虎牙AI產(chǎn)品總監(jiān)表示，在“大主播直播間、上電視玩法進(jìn)行時(shí)”等場(chǎng)景下，常常會(huì)出現(xiàn)高密度彈幕的現(xiàn)象，高密度彈幕會(huì)遮擋住主播，對(duì)于希望看到主播的用戶來(lái)說是一種干擾，而關(guān)閉彈幕又讓用戶無(wú)法看到精彩彈幕內(nèi)容且無(wú)法與其他用戶進(jìn)行互動(dòng)交流。為了改善這種現(xiàn)狀，許多視頻企業(yè)開發(fā)出了精簡(jiǎn)彈幕、半屏顯示以及調(diào)節(jié)彈幕透明度等多種手段，但這些依然不是最完美的解決方案。

虎牙直播采用背景分割技術(shù)，能較好處理人和背景分離，實(shí)現(xiàn)智能彈幕。這項(xiàng)功能在虎牙娛樂品類得以實(shí)踐，而在有效分割了游戲主角和背景方面，虎牙表示后續(xù)該功能會(huì)繼續(xù)在游戲品類進(jìn)行嘗試拓展。

AI智能彈幕背后的那些技術(shù)

虎牙AI技術(shù)負(fù)責(zé)人表示，AI智能彈幕功能背后有兩大核心技術(shù)，智能識(shí)別人像和人像掩碼的智能壓縮。

實(shí)時(shí)端上智能識(shí)別人像。實(shí)時(shí)端上智能人像動(dòng)態(tài)識(shí)別的技術(shù)原理是利用計(jì)算機(jī)圖像分析、模型理論、人工智能及模式識(shí)別技術(shù)的非接觸性高端模式識(shí)別技術(shù)，從復(fù)雜的圖像場(chǎng)景中檢測(cè)出特征人臉信息，并進(jìn)行匹配識(shí)別的智能分析過程。

人像掩碼的智能壓縮。 利用人工智能技術(shù)識(shí)別出 “人像”區(qū)域像素集掩碼(mask)，把掩碼用智能壓縮技術(shù) 壓入視頻流，觀眾端再把掩碼跟視頻幀同步解壓。幀跟掩碼一一對(duì)應(yīng)，就可以知道幀中人像的精確位置。

在專訪中，虎牙AI技術(shù)負(fù)責(zé)人還向我們介紹了AI智能彈幕功能的特點(diǎn)：

1、常規(guī)處理彈幕的做法是“離線(Offline)”和云上處理，需要面對(duì)的只是識(shí)別問題;而虎牙是針對(duì)直播進(jìn)行實(shí)時(shí)端上處理;

2、有的網(wǎng)站采用類似PS蒙版技術(shù)，采用人工方式為特定視頻添加蒙版來(lái)模糊彈幕;而虎牙則采用人景分離技術(shù)，讓人物與場(chǎng)景分離，讓彈幕在人物之后，場(chǎng)景之前;

3、AI智能彈幕與傳統(tǒng)直播彈幕相比，在幾乎不增加帶寬的前提下，把每幀的mask隨視頻流編碼。而常規(guī)方法在視頻點(diǎn)播的中則需要大量的流量來(lái)支撐彈幕傳輸。

用“黑科技”營(yíng)造極致用戶體驗(yàn)

當(dāng)問及識(shí)別、掩碼壓縮、幀與掩碼對(duì)應(yīng)等一系列操作，尤其在直播環(huán)境下，運(yùn)維方面是不是要花費(fèi)很大精力，也就是說，怎樣確保用戶體驗(yàn)不受到智能彈幕功能的影響?

虎牙AI技術(shù)負(fù)責(zé)人這樣回答，端上對(duì)AI體驗(yàn)最大的影響是計(jì)算量。 在虎牙設(shè)計(jì)AI彈幕功能時(shí)，就考慮到了算力受限的問題。故把人像識(shí)別，mask編碼放在主播端進(jìn)行實(shí)時(shí)計(jì)算，不會(huì)影響到用戶的體驗(yàn)。在用戶端，僅需要增加計(jì)算解碼mask和mask掩碼生成，計(jì)算量非常小。但是涉及到AI背景分割技術(shù)，游戲直播中落地的可能性還有待研究。

當(dāng)前，AI技術(shù)已經(jīng)在直播行業(yè)內(nèi)容的生產(chǎn)、分發(fā)、消費(fèi)、商業(yè)變現(xiàn)等多個(gè)關(guān)鍵環(huán)節(jié)進(jìn)行嘗試和落地。前期主要的貢獻(xiàn)在于提升內(nèi)容分發(fā)的效率，未來(lái)則會(huì)進(jìn)一步變革直播內(nèi)容的生產(chǎn)方式，提升生產(chǎn)效率。AI的核心技術(shù)包括語(yǔ)音識(shí)別、圖像識(shí)別、自然語(yǔ)言處理，虎牙也會(huì)進(jìn)一步把這些技術(shù)落地到直播視頻的生產(chǎn)和分發(fā)中。

直播行業(yè)發(fā)展至今，從“千播大戰(zhàn)”到“大浪淘沙”，再到“激烈廝殺”，直播平臺(tái)簽約頭部主播從來(lái)都不惜重金。經(jīng)過很長(zhǎng)時(shí)間爭(zhēng)奪，游戲直播市場(chǎng)格局逐漸穩(wěn)定，AI智能彈幕功能更是為虎牙直播錦上添花。

申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！