最近，何潤-紐倫堡大學的學者提出了一種新的神經網絡方法，用于3D圖像的場景細化和新視圖合成。只需要輸入點云的初始估計和相機參數，就可以輸出任意相機角度合成的圖像，360度旋轉不成問題。
研究人員表示，高效的單像素光柵化使他們能夠實時顯示超過1億像素的點云場景。
一億像素是什么概念？說白了，這些3D圖像太逼真了，跟拍照沒什么區別。
這項研究最近在推特上受到了很多關注，網友們紛紛回應:印象深刻！同時，也有網友表示，這項研究確實利用了點云的大規模動態輸入，這本來就是一個“超級難”的問題。
如下圖所示，給定一組RGB圖像和初始3D重建(左)，這種渲染方法可以合成新的幀并優化場景參數。
紙張地址:
使用神經網絡自動學習和合成高清3D圖像已經取得了成效，但之前很難實現大的動態視角變化。他們是怎么做到的？
一個
秘密:點云輸入和可微優化
合成真實感虛擬環境是計算機圖形學和計算機視覺研究的熱點領域之一。
其中，3D形狀的編碼形式是非常關鍵的一部分。人們通常會考慮三角形網格、體素網格、隱函數和點云，每種表示法都有各自的優缺點。
從左到右，有點云、體素和三角網格形式的兔子3D圖像。
為了有效地渲染不透明的表面，人們通常選擇三角形網格。
體素網格常用來表示容量，而隱函數則適用于精確描述非線性分析曲面(例如A ^ 2+B ^ 2+C ^ 2 = 1為單位球面。
另一方面，點云具有易于使用的優點，因為它不需要考慮拓撲屬性，作為三維圖像合成的中間輸出階段非常方便。不考慮拓撲性質，就是說不管是環還是球，它的表示都是一樣的。
2000年左右，點云渲染，尤其是點離散，在計算機圖形學中得到了廣泛的研究。
與此同時，基于圖像的繪制技術越來越受到人們的重視。也就是說，基于粗略的和重建的3D模型以及一組現有的對象圖像，合成新的視圖。
這些方法存在輸入不準確的問題，例如，如果幾何圖形包含孔洞或輸入圖像沒有完全對齊，則會出現偽影。
基于神經圖像的渲染方法使用神經網絡來去除這些偽影，可以生成前所未有的高質量新視圖，如同照片一樣逼真。
Aliev等人表明，將傳統的點光柵化器與深度神經網絡配對也是可行的。
這一發現對于3D重建尤其有利，因為它通常使用密集的點云作為初始輸出。因此，我們可以跳過不必要的三角剖分，直接可視化重建的場景。
本文中，研究者的方法基于Aliev等人的流水線，并在許多方面進行了改進。
如上圖所示，由紋理點云和環境圖組成的場景被柵格化成一組多分辨率的稀疏神經圖像。
用深度神經網絡重建HDR圖像。
然后通過基于物理學的可微分色調映射器將其轉換成給定新視點場景的LDR圖像。
在訓練階段，可以同時優化矩形框和神經網絡中的所有參數。
在整個流水線中，他們特別添加了一個物理可微的相機模型和一個可微的色調映射器，并提出了一個公式來更好地近似單像素光柵化的空間梯度。
可微性的優點是不僅可以優化神經點的特征，還可以在訓練階段糾正不準確的輸入。
因此，系統可以根據神經渲染網絡的視覺損失來調整這些參數:
相機型號
攝像機角度
點云位置
點云顏色
環境測繪
渲染網絡權重
淡出
相機響應功能
每個圖像的曝光和白平衡
畫
得益于此，圖像的渲染質量得到了顯著提高。
此外，這種方法可以合成任意高動態范圍成像(HDR，即大曝光變化)和LDR(低動態范圍成像，容易丟失圖像細節)設置，修正曝光不足或曝光過度的視圖(如下圖所示)。
與此同時，深度神經網絡中的參數數量也顯著減少，因為亮度和顏色變化是由物理上正確的傳感器模型單獨處理的。
如下表所示，與其他可微分渲染器相比，該方法的效率大約高出兩個數量級。
表一:1920×1080圖像在RTX 2080ti上正反向渲染時間(毫秒)。
因此，提高了渲染性能，并減少了過擬合偽影。
綜上所述，本文的研究成果如下:
用于場景細化和可視化的端到端可訓練的基于點的神經渲染管道。
一種使用偽影幾何概念的用于單個像素點片段的差分光柵化器。
一個基于物理的可區分色調映射器，可以模擬數碼攝影鏡頭和傳感器的效果。
大規模點云高效多層渲染的隨機點丟棄技術。
最后，這項研究是開源的:
二
管道的詳細說明
下面詳細介紹一下模型管道。
它通過使用相機參數將每個點投影到圖像空間中，并將其呈現為單個像素大小的片段。
如果像素通過測試，它將在神經網絡的輸出圖像中占據一個描述符。所有未被點著色的像素都用背景色填充。
因為我們將點渲染為單個像素大小的片段，所以輸出圖像可能非常稀疏，這取決于點云的空間分辨率和相機距離。
因此，以不同的比例渲染多個層會使輸出圖像變得密集，并處理遮擋和光照問題。
它由一個四層全卷積U-Net和跳連接組成，其中分辨率較低的輸入圖像連接到中間特征張量。通過平均池執行下采樣，通過雙線性插值對圖像進行上采樣。
研究人員主要使用門控卷積，它最初是為了填補孔洞而開發的，因此非常適合稀疏點輸入。
總的來說，網絡架構類似于Aliev等人提出的網絡架構，只是減少了一層并做了一些修改以支持HDR成像。
首先，去除批標準化層，因為它們將中間圖像的平均值和標準偏差標準化為固定值。這將導致總傳感器輻照度(類似于光強度的概念)損失，并且它不能從3D點傳播到最終圖像。
此外，如果場景的亮度范圍相當大(大于1: 400)，則神經點描述符以對數方式存儲。否則，神經描述符將被線性存儲。對于對數描述符，它們在柵格化過程中被轉換到線性空間，從而在卷積運算中僅使用線性亮度值。
色調映射器模擬數碼相機的物理鏡頭和傳感器特性。因此，它最適合捕捉智能手機、數碼單反相機和攝像機的LDR圖像。
三
限制
雖然合成效果如此驚人，但研究人員也在實驗中發現了一些局限性。
局限性之一是，由于不同參數的數量巨大，因此不容易找到合適的超參數。需要平衡紋理顏色、結構參數、色調映射設置和神經網絡權重的學習速率。為了找到適合所有場景的可行設置，需要進行廣泛的網格搜索。
另一個限制是對于中到大的學習速率，點位置的優化是不穩定的。因此，管道需要一個合理的初始點云，例如，通過多視圖立體系統或激光雷達掃描儀。
研究人員認為，這個問題是光柵化過程中的梯度近似造成的。它適用于相機模型和相機角度優化，因為成千上萬個點的空間梯度在一個優化器步驟中被平均。然而，對于位置點梯度，僅使用單個近似梯度來更新其坐標。因此，需要非常低的學習速率來平均點梯度隨時間的變化。
最后，由于單像素點渲染，當相機離物體太近或點云非常稀疏時，可能會出現孔洞。這是因為神經網絡結構只能填充具有一定大小閾值的孔洞。在實驗中，研究人員通過人為增加點密度來減少這一問題。然而，這并不是一個普遍可行的解決方案，因為在自由視圖環境中，用戶仍然可以任意移動相機以接近對象的表面。研究人員表示，他們未來的工作應該從這里開始。例如，他們可以嘗試在放大過程中使用插值神經描述符動態生成新點。