極客號(hào)（Daydx.com）12月13日 消息:近日，上?？萍即髮W(xué)、NeuDim、字節(jié)跳動(dòng)和DGene的研究團(tuán)隊(duì)共同發(fā)布了一篇名為《HiFi4G:人體建模和高效渲染的突破性進(jìn)展》的AI論文。該論文介紹了HiFi4G，這是一種全新的、全顯式且緊湊的高斯方法，用于從密集視頻中重新創(chuàng)建高保真的4D人體表演。

這項(xiàng)研究的主要亮點(diǎn)在于，HiFi4G通過將非剛性跟蹤與3D高斯表達(dá)相結(jié)合，成功分離了運(yùn)動(dòng)和外觀數(shù)據(jù)，從而實(shí)現(xiàn)了緊湊且壓縮友好的表達(dá)。相較于當(dāng)前的隱式渲染技術(shù)，HiFi4G在優(yōu)化速度、渲染質(zhì)量和存儲(chǔ)開銷方面取得了明顯的改進(jìn)。

具體而言，研究團(tuán)隊(duì)首先提出了一種雙圖方法，包括細(xì)粒度高斯和粗略變形圖，以自然地將高斯表示與非剛性跟蹤連接起來。通過使用NeuS2創(chuàng)建每幀幾何代理，并以關(guān)鍵幀的方式使用嵌入式變形（ED），這一顯式跟蹤技術(shù)將序列劃分為部分，為每個(gè)部分內(nèi)的運(yùn)動(dòng)提供了豐富的歷史信息。

接下來，研究團(tuán)隊(duì)為進(jìn)一步初始化構(gòu)建了一個(gè)細(xì)粒度高斯圖，通過從粗略ED網(wǎng)絡(luò)中插值每個(gè)高斯運(yùn)動(dòng)。為了平衡高斯特征和非剛性運(yùn)動(dòng)先驗(yàn)的更新，研究團(tuán)隊(duì)提出了一種4D高斯優(yōu)化方法。他們使用時(shí)間正則化器確保每個(gè)高斯的外觀屬性的一致性，如不透明度、縮放系數(shù)和球諧（SH）。對(duì)于運(yùn)動(dòng)特征(位置和旋轉(zhuǎn))，研究團(tuán)隊(duì)建議使用平滑項(xiàng)，以在相鄰高斯之間生成局部盡可能剛性的運(yùn)動(dòng)。

為了應(yīng)對(duì)在表現(xiàn)小而非剛性運(yùn)動(dòng)的區(qū)域出現(xiàn)的顫動(dòng)現(xiàn)象，研究團(tuán)隊(duì)為這些正則化器添加了自適應(yīng)加權(quán)機(jī)制。經(jīng)過優(yōu)化，研究團(tuán)隊(duì)生成了時(shí)空緊湊的4D高斯。為了使HiFi4G對(duì)用戶更加實(shí)用，研究團(tuán)隊(duì)提出了一種伴隨的壓縮技術(shù)，采用傳統(tǒng)的殘差校正、量化和熵編碼，以適應(yīng)各種平臺(tái)上的低存儲(chǔ)沉浸式人體表演體驗(yàn)。

HiFi4G作為一種用于高保真人體表現(xiàn)渲染的方法，具有以下特色功能:

緊湊的高斯噴濺表示法: HiFi4G采用3D高斯表達(dá)與非剛性跟蹤相結(jié)合，實(shí)現(xiàn)了緊湊且壓縮友好的表示。這種方法通過采用雙圖機(jī)制，包括粗糙變形圖和細(xì)粒度高斯圖，來獲得運(yùn)動(dòng)的先驗(yàn)知識(shí)。

雙圖機(jī)制: 引入了雙圖機(jī)制，其中包括一個(gè)用于有效初始化的粗糙變形圖和一個(gè)用于強(qiáng)制約束的細(xì)粒度高斯圖，以實(shí)現(xiàn)對(duì)非剛性運(yùn)動(dòng)的建模。

4D高斯優(yōu)化方案: 采用了4D高斯優(yōu)化方案，其中包括自適應(yīng)的時(shí)空正則化器，以有效平衡非剛性先驗(yàn)和高斯更新，實(shí)現(xiàn)高質(zhì)量的人體表現(xiàn)渲染。

伴隨的壓縮方案: 提出了一個(gè)伴隨的壓縮方案，包括殘差補(bǔ)償，可在各種平臺(tái)上實(shí)現(xiàn)沉浸式體驗(yàn)。該方案實(shí)現(xiàn)了約25倍的壓縮率，每幀不到2MB的存儲(chǔ)開銷。

關(guān)鍵幀非剛性跟蹤: 通過基于關(guān)鍵幀的非剛性跟蹤，建立了一個(gè)粗糙變形圖，并跟蹤了高斯優(yōu)化的運(yùn)動(dòng)，為后續(xù)渲染提供支持。

實(shí)時(shí)高保真渲染: HiFi4G能夠在實(shí)時(shí)性要求下，對(duì)具有挑戰(zhàn)性動(dòng)作的人體表現(xiàn)進(jìn)行高保真渲染，例如演奏樂器、跳舞和更衣等。

渲染結(jié)果:HiFi4G 可實(shí)時(shí)高保真地渲染人類在演奏樂器、跳舞和換衣服等具有挑戰(zhàn)性的動(dòng)作中的表現(xiàn)。

在應(yīng)用場(chǎng)景上，HiFi4G可以用于電影、電視劇和游戲制作，實(shí)現(xiàn)更逼真、高保真的人物表現(xiàn)渲染。特別是在需要展現(xiàn)復(fù)雜人體動(dòng)作，如演奏樂器、跳舞和更衣等情境下，可以提供更真實(shí)的畫面效果。另外，由于HiFi4G能夠?qū)崿F(xiàn)實(shí)時(shí)高保真渲染，它在虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)應(yīng)用中也具備廣泛的應(yīng)用前景。用戶在虛擬環(huán)境中進(jìn)行各種活動(dòng)時(shí)，可以獲得更具沉浸感的體驗(yàn)。

項(xiàng)目網(wǎng)址:https://nowheretrix.github.io/HiFi4G/

論文網(wǎng)址:https://arxiv.org/abs/2312.03461