英偉達:圖靈顯卡的紋理空間著色可提升VR渲染的效率
英偉達的圖靈架構最先登陸面向工作站的Quadro RTX系列,然后通過GeForce RTX 2000系列登陸消費者市場。圖靈顯卡是當前最先進的GPU之一,并提供了大量的全新圖形,計算和AI功能。
英偉達的工程師Henry Moreton和Nick Stam日前介紹了圖靈顯卡的一項全新著色功能:紋理空間著色(Texture Space Shading;TSS),并特別提到TSS在兩個方面可以對虛擬現實帶來的幫助。他們指出,“對于像VR這樣需要大大提高圖像質量,不能出現鋸齒偽影和瞬時閃爍的應用而言”,TSS能夠實現的時間穩(wěn)定性十分重要。
與此同時,對于高質量的VR而言,系統(tǒng)需要以90fps的速度為兩個眼睛渲染相同的情景兩次。兩個渲染情景幾乎完全一樣,只是瀏覽角度有所不同(這樣可以產生三維立體效果)。英偉達表示,借助TSS,系統(tǒng)只需渲染一個視圖,然后可以將其作為第二個視圖的基礎,并只渲染在第一個視圖中被遮擋的對象,從而能夠大大降低所需的計算量。
對于英偉達的這篇博文,映維網進行了具體的整理,希望可以幫助你進一步理解紋理空間著色對虛擬現實的幫助:
圖靈顯卡新增了一項名為紋理空間著色(Texture Space Shading;TSS)的著色功能,其中系統(tǒng)將動態(tài)計算著色值,并將其作為紋理空間中的紋素存儲在紋理中。接下來,系統(tǒng)對像素進行紋理映射,其中屏幕空間中的像素將映射至紋理空間,并使用標準紋理查找操作對相應的紋素進行采樣和過濾。通過這項技術,我們能夠以完全獨立的速率和一個單獨的(解耦)坐標系統(tǒng)對可見性和外觀進行采樣。借助TSS,開發(fā)者可以(重新)使用在解耦著色空間中完成的著色計算,從而同時提高質量和性能。
開發(fā)者可以使用TSS來利用空間和時間渲染冗余。通過將著色與屏幕空間像素網格分離,TSS可以實現high-level的幀到幀穩(wěn)定性,因為著色位置不會在一幀和下一幀之間移動。對于像VR這樣需要大大提高圖像質量,不能出現鋸齒偽影和時間微光的應用而言,這樣的時間穩(wěn)定性非常重要。
TSS具有內在的多分辨率靈活性,而這是繼承自紋理貼圖的MIP-map層次結構或圖像金字塔。當對像素進行著色時,開發(fā)者可以將映射調整為紋理空間,選擇MIP級別(細節(jié)級別),從而對著色率進行精細控制。由于位于細節(jié)底層的紋素較大,因此它們覆蓋了較大的對象部分,而且可能覆蓋多個像素。
TSS能夠記住已經著色的紋素,并且只著色新請求的紋素。著色和記錄的紋理可以重復用于服務同一幀,相鄰場景,或后續(xù)幀中的其他著色請求。通過控制著色率并重新使用先前著色的紋素,開發(fā)者可以管理幀渲染時間,并維持VR和AR等應用程序的固定時間預算。開發(fā)者可以使用相同的機制來降低已知低頻現象的陰影率,如霧。能夠記住著色結果的正面作用可以擴展到頂點著色器和計算著色器,以及一般計算。TSS架構可用于記住和重復使用所有復雜計算的結果。
1. TSS的機制
圖1是傳統(tǒng)的光柵化和著色過程。系統(tǒng)對3D場景進行柵格化,并轉換為屏幕空間中的像素。像素會接受可見性的測試,為外觀而進行著色,并進行深度測試。操作都發(fā)生在同一像素上的同一屏幕空間像素網格上。
可見性采樣(光柵化和z-testing)和外觀采樣(著色)這兩個主要操作可以與TSS解耦,并以不同的速率,在不同的采樣網格上,甚至在不同的時間線上執(zhí)行。著色過程不再直接與屏幕空間像素相關聯(lián),而是發(fā)生在紋理空間中。根據圖2,幾何體仍然會進行柵格化以產生屏幕空間像素,而可見性測試仍然在屏幕空間中進行。但是,我們可以看到紋素需要覆蓋輸出像素,而不是在屏幕空間中著色。
換句話說,屏幕空間像素的覆蓋區(qū)域將映射到單獨的紋理空間中,并且著色紋理空間中的相關紋理像素。映射到紋理空間是一種標準的紋理映射操作,對LOD和各向異性過濾等提供相同的控制。為了產生最終的屏幕空間像素,我們從著色紋理中進行采樣。紋理是根據樣本請求按需創(chuàng)建,僅為引用的紋素生成值。
2. 對VR的用例
TSS的一個示例用例是,它可以提高VR渲染的效率。圖3說明了VR渲染中TSS的用例。VR需要渲染一對立體影像,左眼中可見的幾乎所有元素也將顯示在右眼視圖中。借助TSS,我們可以對整個左眼視圖進行著色,然后通過對左眼視圖進行采樣來渲染右眼視圖。在沒有找到有效樣本的情況下(例如,左眼視圖無法看到,但右眼可見的背景對象),右眼視圖僅需要對新紋理元素進行著色。
如前所述,借助TSS,你可以通過調整紋理LOD來動態(tài)地和連續(xù)地控制每像素著色率。通過改變LOD,我們可以根據需要選擇不同的紋理MIP級別,從而減少著色紋理像素的數量。請注意,這意味著TSS的采樣方法也可用于由圖靈可變速率著色功能(Variable Rate Shading feature;VRS)提供支持的一系列相同的著色速率降低技術。哪種方法最適合開發(fā)者將取決于他們的目標。VRS對渲染管道的權重變化較輕,而TSS具有更大的靈活性并支持其他用例。
文章來源:映維網 如轉載請標明出處
原文鏈接 : https://yivian.com/news/52106.html
未經授權,禁止轉載,違者必將追究法律責任。