S3D i WibbleWobble

Dla ciekawskiego gracza
Popularnonaukowy opis technologii, sposobu jej budowy i działania. Jeśli nie jesteś zainteresowany, nie musisz tego czytać – to materiał dla wtajemniczonych.

Jak gra rysuje 3D
Typowym sposobem tworzenia obrazu 3D w grze jest renderowanie sceny dwukrotnie – osobno dla lewego i prawego oka, wirtualnie przesuwając kamerę względem środka sceny. Jest to kosztowne pod względem zasobów i wymaga wbudowanego wsparcia ze strony silnika gry. Nie każda gra potrafi to zrobić. WibbleWobble oferuje dwie różne ścieżki, a różnica między nimi jest fundamentalna – determinuje zarówno jakość obrazu, jak i zestaw artefaktów obrazu.

Ścieżka pierwsza: ReShade Client – synteza stereo z płaskiej klatki
Gra renderuje pojedynczy zwykły widok. Efekt SuperDepth3D ReShade pobiera tę klatkę wraz z buforem głębi sceny i rekonstruuje z niej drugi punkt widzenia, przesuwając piksele zgodnie z głębią. Silnik gry nie wie nic o stereo. Jest to tanie pod względem wydajności i działa z niemal każdą grą DX11/DX12. Kompromisem są artefakty nieodłącznie związane z samą metodą. Opisano je poniżej, w sekcjach „Wady”.

Ścieżka druga: OpenVR Client – prawdziwe renderowanie 3D
WibbleWobble rejestruje się w SteamVR jako wirtualny zestaw VR. Gra obsługująca VR lub taka z modem VR renderuje scenę dwukrotnie z dwóch kamer oddalonych o odległość międzyźreniczną, dokładnie tak, jak robi to prawdziwy zestaw. IPD, rozdzielczość na oko i ogniskowa są ustawiane w VR Config. Tutaj WibbleWobble niczego nie syntezuje: pobiera gotową parę stereo i wyprowadza ją na ekran sekwencyjnie klatkowo, synchronizując okulary migawkowe. Kosztuje to więcej pod względem wydajności, ale geometria 3D jest całkowicie poprawna. Żadnych dziur wzdłuż konturów, żadnego efektu „tektury”; każde oko otrzymuje własne odbicia i refleksy. W istocie jest to sposób na granie w gry VR na zwykłym monitorze z okularami 3D, ale bez zestawu.

Reprojekcja – mechanizm rozszerzania pola widzenia
Reprojekcja działa w obu trybach, w tym monokularowym. Wydajny shader pobiera klatkę gry i mapuje ją na geometrię twojej przestrzeni roboczej: na pojedynczy monitor, cztery monitory lub zakrzywiony ekran. Dzięki śledzeniu głowy (OpenTrack) obraz przesuwa się, podążając za twoją głową, a monitory zaczynają działać jak okno do wirtualnego świata – efekt „akwarium VR”. Celem reprojekcji jest uzyskanie poprawnej skali świata i poprawnego pola widzenia (FOV) do użytku z wieloma monitorami. Reprojekcję można całkowicie wyłączyć (Client Config -> Reprojection: Disabled) i korzystać tylko z wyjścia stereo, BFI i upscalerа – typowy scenariusz dla pojedynczego wyświetlacza.
* Trzeba powiedzieć, że autor projektu był zbyt optymistyczny co do pomysłu „rozszerzania świata” na kilka paneli. Nawet potężne karty graficzne nie mają na to wystarczającej wydajności. Będziesz mieć szczęście, jeśli szybkość wystarczy na pojedynczy wyświetlacz 4K. Z wieloma wyświetlaczami to nie zadziała...

FOV (Field of View): kąt widzenia. Określa, który sektor świata wirtualna kamera obejmuje w klatce. Mierzy się go w stopniach, osobno dla pionu i poziomu. Mały FOV (40-50°) wygląda jak teleobiektyw: wąski sektor z dużymi obiektami. Duży FOV (100-120°) jest szerokokątny, jak w kamerze sportowej. Widzisz dużo po bokach, ale krawędzie są rozciągnięte, a obiekty wydają się dalsze i mniejsze. To kluczowy parametr w WibbleWobble. Program musi znać kąt, pod jakim gra narysowała klatkę, aby poprawnie rzutować ją na twój fizyczny monitor. Dlatego Game Config ma dwa pola, FOV Vertical i FOV Horizontal, z jednym wymogiem: wartość musi być zgodna z tą ustawioną w samej grze. Zmień jedną wartość, a druga zostanie automatycznie przeliczona, aby dopasować się do proporcji okna.

Jeśli FOV wynosi:
zbyt duży świat wygląda jak zabawka, a skala obiektów jest zniekształcona
zbyt niski świat wydaje się gigantyczny i wszystko góruje nad tobą
w 3D głębia załamuje się wraz ze skalą i pojawia się zmęczenie oczu

Śledzenie głowy jako „okno na świat”
Wykorzystując metodę OpenTrack, moduł obsługi aplikacji śledzi pozycję głowy i przesuwa projekcję tak, aby monitor renderował wirtualne okno na scenę 3D. Tworzy to efekt paralaksy. Gdy poruszasz głową, obraz nieznacznie się przesuwa, jakbyś naprawdę patrzył przez okno.

Sekwencyjne wyjście stereo klatka po klatce
Aplikacja odbiera klatki z gry ze zmienną częstotliwością, w miarę jak stają się gotowe, „tak jak przychodzą”. Klient następnie dostosowuje częstotliwość odtwarzania do 60 Hz. Źródłem pary stereo może być SuperDepth3D, mod VR lub gotowa zawartość 3D. WibbleWobble przyjmuje ją w formacie side-by-side lub szachownicy (Client Config -> Source Format) i dekoduje w FrameBufferDecode. Renderer następnie konwertuje ją na strumień sekwencyjny 120 Hz podczas synchronizacji okularów migawkowych. Obsługiwane są następujące emitory: NVIDIA 3D Vision, Open3DOLED, projektory DLP, 3D Ready oraz domowy emiter podczerwieni Arduino/VESA.

Walka z rozmyciem ruchu i przesłuchami
Rozmycie ruchu to rozmycie generowane przez wyświetlacz. Nowoczesne panele LCD i OLED utrzymują piksel zapalony przez czas trwania klatki - tryb sample-and-hold. Gdy piksel pozostaje zapalony i nieruchomy w jednej pozycji, oczy instynktownie śledzą poruszający się obiekt. W rezultacie obraz „rozmazuje się” na samej siatkówce, mimo że każda pojedyncza klatka na wyświetlaczu jest idealnie ostra. Im dłużej piksel pozostaje zapalony, tym silniejsze rozmazanie. Wada ukrywa drobne szczegóły i dodatkowo pogarsza obraz w trybie 3D.

Aby skrócić czas świecenia piksela, WibbleWobble oferuje dwa narzędzia:
Wstawianie czarnej klatki - wstawianie czarnej klatki między użyteczne (parametr Black Frame Insertion Interval w Client Config).
Symulator wiązki CRT od Blur Busters - shader imitujący przemiatanie wiązki elektronowej CRT: wygasza obraz linia po linii, a nie jako całą klatkę. Daje lepszy wynik, ale jest wymagający dla wyświetlacza: wymaga gamma 2.2 lub 2.4, wyłączonego ABL/APL i OLED w trybie SDR. Na panelach FALD i MiniLED działa słabo z powodu bezwładności podświetlenia.

Tych dwóch trybów nie wolno włączać jednocześnie. Podczas korzystania z CRT Sim parametr Black Frame Insertion Interval w Client Config musi wynosić zero. Warto osobno podkreślić, że gra może działać z niższą częstotliwością niż wyświetlacz wyprowadza klatki, a program uzupełnia brakujące klatki do częstotliwości wyświetlacza. Ale to nie jest generowanie nowych obrazów pośrednich - to powtarzanie gotowych. Innymi słowy, nie ma tu tej płynności, którą zapewnia metoda resamplingu.

Przesłuchy to efekt, w którym obraz przeznaczony dla jednego oka częściowo dociera do drugiego oka. W rezultacie widz widzi podwójne kontury lub półprzezroczyste „duchy” obok obiektów. Pogarsza to jakość obrazu 3D i zmniejsza poczucie głębi. Aby temu przeciwdziałać, wbudowano obsługę wstawiania czarnej klatki i symulatora wiązki CRT od Blur Busters. Do kompleksowego tłumienia przesłuchów stosowany jest sprytny tryb: obraz gry jest rysowany przy 60 Hz, okulary otrzymują synchronizację przy 120 Hz, a wyjście na ekran działa przy 240 Hz z powtarzaniem klatek.

Przy wszystkich swoich zaletach ta metoda ma ograniczenia, które należy omówić osobno. Nie wynikają one z żadnej niedoskonałości programu, lecz z wybranej zasady działania. Drugi punkt widzenia stereo nie jest renderowany z modelu sceny, lecz rekonstruowany z gotowej klatki i mapy głębi. Jeśli w źródłowej klatce nie ma danych o tym, co jest ukryte za obiektami pierwszego planu, nie ma skąd ich odzyskać.

Dziury na krawędziach obiektów - disocclusion
To główna wada tej metody. Gdy program przesuwa punkt widzenia dla drugiego oka lub dla obrotu głowy, część tła, która była ukryta za krawędzią obiektu pierwszego planu w źródłowej klatce, powinna stać się widoczna. Ale nikt nie wyrenderował tych pikseli - fizycznie nie istnieją. Program nie ma czym wypełnić luki, więc albo rozciąga piksele krawędzi, tworząc "gumowatą" rozmytą aureolę wzdłuż konturów, albo podstawia "wiarygodną", ale zwykle niepoprawną łatkę. Im silniejsze przesunięcie punktu widzenia, tym szersze pasma aureoli. To nie jest błąd implementacji, lecz ograniczenie samej metody: nie można wydobyć z pojedynczego obrazu tego, co jest ukryte za obiektami i w nim niewidoczne.

Ruch głowy wzmacnia zniekształcenia
W zwykłym stereo odległość między punktami widzenia jest mała i stała – równa odległości między źrenicami. Ale przy „oknie do świata” głowa przemieszcza się o dziesiątki centymetrów w różnych kierunkach, więc względne przesunięcie punktu widzenia jest wielokrotnie większe niż naturalne, a dziury i rozmycia rosną. Wychodzi to tak: siedź nieruchomo, a artefaktów prawie nie ma, ale efekt 3D też jest słaby; ruszaj się dużo, a efekt jest, ale wszystko wzdłuż krawędzi obiektów jest rozmyte i pływa.

Grafika opiera się na mapie głębi
Program potrzebuje poprawnych informacji o odległości do każdego punktu w scenie. Gra nie zawsze je dostarcza, albo nie wszystkie. Przezroczyste powierzchnie – woda, szkło, dym, ogień, liście – zwykle nie mają szczegółowej głębi, albo silnik w ogóle jej nie tworzy. W rezultacie obiekty znajdują się w niewłaściwej odległości: woda tkwi w złym miejscu, dym się dwoi, cząsteczki wiszą w powietrzu w różnych punktach. Do tego nie każda gra wyprowadza kompatybilny bufor głębi – w niektórych jest odwrócony, w innych chroniony i nie można go odczytać.

Odbicia i refleksy psują się najbardziej
Lustra, woda, mokry asfalt i metal są określane przez głębię ich własnej powierzchni, a nie przez odbity w nich obraz. Gdy punkt widzenia się przesuwa, odbicie dryfuje nie wiadomo gdzie. Jeśli refleks jest „namalowany” na powierzchni, nie zachowuje się tak, jak powinien w rzeczywistym świecie. Właśnie najbardziej efektowna błyszcząca treść wygląda płasko i źle w stereo.

Interfejs, celownik i HUD
Dwuwymiarowe elementy nałożone na obraz – paski zdrowia, menu, celownik – są rysowane na zerowej głębi, więc po przetworzeniu trafiają w niewłaściwą odległość stereo. Interfejs albo wbija się w ekran, albo dynda przed sceną. Celownik to osobny ból głowy; jego położenie w głębi prawie zawsze trzeba dostrajać ręcznie.

Jedna klatka dla obojga oczu
Oboje oczu widzi ten sam obraz, tylko przesunięty. Przy uczciwym renderowaniu stereo każde oko dostaje własne poprawne refleksy, cienie i refrakcje; tutaj to się nie stanie. Z tego powodu obiekty wyglądają jak płaskie warstwy wycięte ze sklejki i ułożone według głębi, a nie jak bryły przestrzenne. W materiałach angielskojęzycznych efekt ten nazywa się efektem „tekturowej wycinanki”.

Strojenie dla każdej gry
Pole widzenia, zakres głębi i konwergencja są ustawiane ręcznie dla każdej gry osobno. Pomyłka daje albo zmęczenie oczu od nadmiernej konwergencji, albo złą skalę, w której świat wygląda jak zabawka lub gigantyczny, albo nawet całkowicie odwróconą głębię. To rozwiązanie typu „dostrój i dojdź do tego”, a nie „zainstaluj i graj”.

Opóźnienie i nierówne klatki
Gra renderuje klatki nierówno, a klient dostosowuje je do stabilnego fps wyświetlacza poprzez powtarzanie gotowych klatek. Samo powtarzanie nie wprowadza zniekształceń, ale opóźnienie między działaniem a obrazem narasta: przechwytywanie klatki, przetwarzanie, wyjście. Przy śledzeniu głowy każde takie opóźnienie jest odczuwalne jako „pływanie” sceny. Game Config ma parametr Frame Capture Delay, aby dostroić moment przechwytywania.

Resztkowy przesłuch i wysokie wymagania monitora
Techniki programowe – wstawianie czarnych klatek oraz tryb 60/120/240 – tłumią ghosting, ale nie usuwają go całkowicie, ponieważ przesłuchy zależą od wielu czynników: fizyki samego panelu wyświetlacza i okularów. Zależy to od czasu reakcji pikseli, szybkości przełączania, kontrastu soczewek okularów oraz pionowej częstotliwości odświeżania ekranu. Ponadto najbardziej agresywny tryb wymaga szybkiego panelu 240 Hz z krótkim czasem utrzymywania piksela, co nie każdy użytkownik posiada. W przeciwieństwie do NVIDIA 3D Vision, ReShade nie odtwarza gotowej bryły, lecz syntetyzuje ją z płaskiej klatki. Dlatego dziury wzdłuż konturów, nieprawidłowe odbicia i pływające krawędzie są trwałymi artefaktami tej metody, a nie tymczasową wadą.

Geometria stereo jest tu uczciwa i żaden z artefaktów syntezy obrazu – disocclusion, „karton”, zepsute odbicia – tu nie występuje. Ale ta metoda ma również swój koszt, i to inny.

Gra musi obsługiwać VR
To jest główne ograniczenie. Metoda nie działa z dowolną grą: wymaga albo wbudowanej obsługi VR, albo moda VR. Jeśli nie istnieje gotowy mod, ścieżka OpenVR nie zadziała, i pozostaje tylko ReShade ze wszystkimi swoimi artefaktami. Innymi słowy, szeroka kompatybilność, dla której istnieje pierwsza ścieżka, jest tu całkowicie tracona.

Podwójne obciążenie karty graficznej
Scena jest naprawdę renderowana dwukrotnie, z dwóch kamer. Nie ma tu żadnej oszczędności, jaką zapewnia reprojekcja pojedynczego widoku: wydajność spada tak samo jak w prawdziwym VR. Częściowo rekompensuje to ustawienie Resolution w VR Config – rozdzielczość na oko można obniżyć, a WibbleWobble przeskaluje obraz do rozdzielczości wyświetlacza.

Skomplikowana instalacja
Należy zainstalować SteamVR. Sterownik jest rejestrowany przez Install.bat z uprawnieniami administratora, po czym trzeba ręcznie dodać dwie linie do pliku config\steamvr.vrsettings: "forcedDriver": "WibbleWobbleVR" oraz "activateMultipleDrivers": "true". Następnie należy przeprowadzić Room Setup w trybie STANDING ONLY. Błąd na którymkolwiek kroku i zamiast stereo otrzymujesz czarny ekran bez jasnego komunikatu o przyczynie.

Ograniczenia samego OpenVR
Niektórych ustawień nie można zmieniać w locie. Jeśli zmienisz rozdzielczość lub częstotliwość wyjściową, wymagany jest restart SteamVR. To ograniczenie platformy, nie programu, ale zauważalnie spowalnia dostrajanie gier.

Optymalizacja renderowania psuje niektóre gry
VR Config ma parametr Optimise Single Eye, który pozwala renderować tylko jedno oko lub oba przy połowie FOV. Autor projektu ostrzega wprost: tryb „Both” jest najbardziej problematyczny – możliwe są winietowanie i desynchronizacja oczu, a obraz może się „przesuwać”. W niektórych grach optymalizację trzeba będzie całkowicie wyłączyć.

Walka o fokus okna
Niektóre gry nie przekazują fokusu do interfejsu WibbleWobble: kombinacja klawiszy SHIFT + END nie działa albo UI jest rysowany, ale nie można nim sterować. Trzeba przełączać się ręcznie przez ALT + TAB. Osobny problem: okno WibbleWobble nie może zostać zamknięte – program nie odzyskuje potem sprawności i grę trzeba będzie zrestartować.

Ponowne centrowanie przy każdym uruchomieniu
Śledzenie musi być wyśrodkowane ręcznie (SHIFT + .) za każdym razem przy starcie, ustawione dokładnie w środku obszaru roboczego przed ekranami. Jeśli głowa nie była tam podczas centrowania, reprojekcja zaczyna zachowywać się dziwnie, a skala „dryfuje”. Jak przyznaje sam autor, trafienie we właściwą pozycję wymaga praktyki. Można to później naprawić, używając inteligentniejszego oprogramowania do śledzenia.

Osobliwości poszczególnych aplikacji
Niektóre programy działają tylko z określonymi markami gogli. Dla nich VR Config ma parametr identyfikacji gogli, który sprawia, że WibbleWobble przedstawia się jako inne urządzenie – na przykład Vive – bez czego śledzenie głowy nie działa w DEOVR. Innymi słowy, kompatybilność w niektórych miejscach opiera się na takich obejściach.

Wspólne podstawy ze pierwszą ścieżką
Wszystko dotyczące sprzętu obowiązuje w obu metodach: resztkowy przesłuch, wymóg szybkiego panelu, potrzeba precyzyjnej synchronizacji okularów. Wyjście stereo, emitery, BFI i CRT Sim działają tak samo niezależnie od tego, skąd pochodzi para stereo.