S3D i WibbleWobble

Dla ciekawskiego gracza
Opis technologii na popularnym poziomie, jak jest zbudowana i jak działa. Jeśli nie jesteś zainteresowany, nie musisz tego czytać - to suchy materiał.

Jak gra rysuje 3D
Zwykły sposób na uzyskanie obrazu 3D w grze polega na renderowaniu sceny dwukrotnie - osobno dla lewego i prawego oka, wirtualnie przesuwając kamerę względem środka sceny. Jest to zasobożerne i wymaga wbudowanego wsparcia silnika gry. Nie każda gra to potrafi. WibbleWobble oferuje dwie różne ścieżki, a różnica między nimi jest fundamentalna - determinuje zarówno jakość obrazu, jak i zestaw artefaktów obrazu.

Ścieżka pierwsza: ReShade Client - synteza stereo z płaskiej klatki
Gra renderuje pojedynczy zwykły widok. Efekt ReShade SuperDepth3D pobiera tę klatkę wraz z buforem głębi sceny i rekonstruuje z niej drugi punkt widzenia, przesuwając piksele zgodnie z głębią. Silnik gry nic nie wie o stereo. Jest to tanie pod względem wydajności i działa z prawie każdą grą DX11/DX12. Ceną są artefakty nieodłącznie związane z samą metodą. Są one opisane poniżej, w sekcjach "Wady".

Ścieżka druga: OpenVR Client - prawdziwe renderowanie 3D
WibbleWobble rejestruje się w SteamVR jako wirtualny zestaw VR. Gra obsługująca VR lub z modem VR renderuje scenę dwukrotnie z dwóch kamer oddalonych o odległość międzyźrenicową, dokładnie tak, jak robi to prawdziwy zestaw. IPD, rozdzielczość na oko i ogniskowa są ustawiane w VR Config. Tutaj WibbleWobble niczego nie syntetyzuje: pobiera gotową parę stereo i wyświetla ją na ekranie klatka po klatce, synchronizując okulary migawkowe. Kosztuje to więcej wydajności, ale geometria 3D jest absolutnie poprawna. Żadnych dziur wzdłuż konturów, żadnego efektu "kartonu"; każde oko otrzymuje własne odbicia i błyski. W istocie jest to sposób na granie w gry VR na zwykłym monitorze z okularami 3D, ale bez zestawu VR.

Reprojekcja - mechanizm rozszerzania pola widzenia
Reprojekcja działa w obu trybach, w tym monokularowym. Wydajny shader pobiera klatkę gry i odwzorowuje ją na geometrię twojego obszaru roboczego: na jeden monitor, cztery monitory lub zakrzywiony ekran. Dzięki śledzeniu głowy (OpenTrack) obraz przesuwa się za twoją głową, a monitory zaczynają działać jak okno na wirtualny świat - efekt "akwarium VR". Celem reprojekcji jest uzyskanie prawidłowej skali świata i prawidłowego pola widzenia (FOV) dla konfiguracji wielomonitorowych. Reprojekcję można całkowicie wyłączyć (Client Config -> Reprojection: Disabled) i używać tylko wyjścia stereo, BFI i upscalera - typowy scenariusz dla pojedynczego wyświetlacza.
* Trzeba powiedzieć, że autor projektu był nadmiernie optymistyczny co do pomysłu "rozszerzania świata" na kilka paneli. Nawet wydajne karty graficzne nie mają wystarczającej mocy obliczeniowej. Będziesz miał szczęście, jeśli prędkość wystarczy na pojedynczy wyświetlacz 4K. Nie zadziała z wieloma wyświetlaczami...

FOV (Pole Widzenia): kąt widzenia. Określa, który sektor świata wirtualna kamera przechwytuje w klatce. Mierzy się go w stopniach, osobno dla pionu i poziomu. Małe FOV (40-50°) wygląda jak obiektyw teleobiektywu: wąski sektor z dużymi obiektami. Duże FOV (100-120°) to szeroki kąt, jak kamera akcji. Widzisz dużo po bokach, ale krawędzie są rozciągnięte, a obiekty wydają się dalsze i mniejsze. Jest to kluczowy parametr w WibbleWobble. Program musi znać kąt, pod którym gra narysowała klatkę, aby poprawnie rzutować ją na twój fizyczny monitor. Dlatego Game Config ma dwa pola, FOV Vertical i FOV Horizontal, z jednym wymaganiem: wartość musi odpowiadać tej ustawionej w samej grze. Zmień jedną wartość, a druga zostanie automatycznie przeliczona, aby dopasować się do proporcji okna.

Jeśli FOV jest:
za duże świat wygląda jak zabawka, a skala obiektów jest zniekształcona
za małe świat wydaje się gigantyczny i wszystko nad tobą góruje
w 3D głębia załamuje się wraz ze skalą, a oczy się męczą

Śledzenie głowy jako "okno na świat"
Korzystając z metody OpenTrack, handler aplikacji śledzi pozycję głowy i przesuwa projekcję tak, aby monitor renderował wirtualne okno na scenę 3D. Tworzy to efekt paralaksy. Kiedy poruszasz głową, obraz lekko się przesuwa, jakbyś naprawdę patrzył przez okno.

Wyjście stereo klatka po klatce
Aplikacja odbiera klatki z gry ze zmienną szybkością, gdy są gotowe, "jak przychodzą". Klient następnie dostosowuje liczbę klatek do odtwarzania przy 60 Hz. Źródłem pary stereo może być SuperDepth3D, mod VR lub gotowa treść 3D. WibbleWobble akceptuje ją w formacie side-by-side lub checkerboard (Client Config -> Source Format) i dekoduje w FrameBufferDecode. Renderer następnie konwertuje ją na strumień klatka po klatce 120 Hz, jednocześnie synchronizując okulary migawkowe. Obsługiwane są następujące emitery: NVIDIA 3D Vision, Open3DOLED, projektory DLP, 3D Ready i domowy emiter Arduino/VESA IR.

Walka z rozmyciem ruchu i przesłuchami
Rozmycie ruchu to rozmycie spowodowane przez wyświetlacz. Nowoczesne panele LCD i OLED utrzymują piksel zapalony przez czas trwania klatki - tryb sample-and-hold. Podczas gdy piksel pozostaje zapalony i nieruchomy w jednej pozycji, oczy instynktownie podążają za poruszającym się obiektem. W rezultacie obraz "rozmazuje się" na samej siatkówce, nawet jeśli każda pojedyncza klatka na wyświetlaczu jest idealnie ostra. Im dłużej piksel pozostaje zapalony, tym silniejsze jest rozmycie. Wada ukrywa drobne szczegóły i dodatkowo pogarsza obraz w trybie 3D.

Aby skrócić czas świecenia piksela, WibbleWobble udostępnia dwa narzędzia:
Black Frame Insertion - wstawianie czarnej klatki pomiędzy użyteczne (parametr Black Frame Insertion Interval w Client Config).
CRT Beam Simulator od Blur Busters - shader imitujący przemiatanie wiązki elektronowej monitora CRT: wygasza obraz linia po linii, a nie jako całą klatkę. Daje lepszy wynik, ale jest wymagający dla wyświetlacza: potrzebuje gamma 2.2 lub 2.4, wyłączonego ABL/APL i OLED w trybie SDR. Na panelach FALD i MiniLED działa słabo ze względu na bezwładność podświetlenia.

Te dwa tryby nie mogą być włączone jednocześnie. Podczas korzystania z CRT Sim, parametr Black Frame Insertion Interval w Client Config musi wynosić zero. Warto osobno podkreślić, że gra może działać z niższą częstotliwością niż wyświetlacz wyświetla klatki, a program wypełnia brakujące klatki do częstotliwości wyświetlacza. Ale nie jest to generowanie nowych pośrednich obrazów - jest to powtarzanie gotowych. Innymi słowy, nie ma tu gładkości, jaką zapewnia metoda resamplingu.

Przesłuch to efekt, w którym obraz przeznaczony dla jednego oka częściowo dociera do drugiego oka. W rezultacie widz widzi podwójne kontury lub półprzezroczyste "duchy" obok obiektów. Pogarsza to jakość obrazu 3D i zmniejsza poczucie głębi. Aby z tym walczyć, wbudowano obsługę Black Frame Insertion i symulatora wiązki CRT Blur Busters. Do kompleksowego tłumienia przesłuchów stosuje się sprytny tryb: obraz gry jest rysowany z częstotliwością 60 Hz, okulary otrzymują synchronizację z częstotliwością 120 Hz, a wyjście na ekran działa z częstotliwością 240 Hz z powtarzaniem klatek.

Mimo wszystkich swoich zalet, ta metoda ma ograniczenia, które należy osobno wymienić. Wynikają one nie z niedoskonałości programu, ale z wybranej zasady działania. Drugi punkt widzenia stereo nie jest renderowany z modelu sceny, ale rekonstruowany z już gotowej klatki i mapy głębi. Jeśli w źródłowej klatce nie ma danych o tym, co jest ukryte za obiektami pierwszego planu, nie ma skąd ich odzyskać.

Dziury na krawędziach obiektów - dysokluzja
To jest główna wada tej metody. Kiedy program przesuwa punkt widzenia dla drugiego oka lub dla obrotu głowy, część tła, która była ukryta za krawędzią obiektu pierwszego planu w źródłowej klatce, powinna stać się widoczna. Ale nikt nie renderował tych pikseli - fizycznie nie istnieją. Program nie ma czym wypełnić luki, więc albo rozciąga piksele krawędziowe, tworząc "gumowatą" rozmytą aureolę wzdłuż konturów, albo podstawia "prawdopodobną", ale zwykle niepoprawną łatkę. Im silniejsze przesunięcie punktu widzenia, tym szersze pasma aureoli. Nie jest to błąd implementacji, ale ograniczenie samej metody: nie można wydobyć z pojedynczego obrazu tego, co jest ukryte za obiektami i w nim niewidoczne.

Ruch głowy wzmacnia zniekształcenia
W zwykłym stereo odległość między punktami widzenia jest mała i stała - równa odległości między źrenicami. Ale w przypadku "okna na świat" głowa przemieszcza się o dziesiątki centymetrów w różnych kierunkach, więc względne przesunięcie punktu widzenia jest wielokrotnie większe niż naturalne, a dziury i rozmycie rosną. Działa to tak: siedź nieruchomo, a artefaktów prawie nie ma, ale efekt 3D jest też słaby; poruszaj się dużo, a efekt jest, ale wszystko wzdłuż krawędzi obiektów jest rozmazane i pływa.

Grafika opiera się na mapie głębi
Program potrzebuje poprawnych informacji o odległości do każdego punktu sceny. Gra nie zawsze je dostarcza, albo nie wszystkie. Przezroczyste powierzchnie - woda, szkło, dym, ogień, liście - zwykle nie mają szczegółowej głębi, albo silnik w ogóle jej nie tworzy. W rezultacie obiekty znajdują się w niewłaściwej odległości: woda przykleja się w złym miejscu, dym się dwoi, cząsteczki wiszą w powietrzu w różnych miejscach. Do tego nie każda gra udostępnia kompatybilny bufor głębi - w niektórych jest odwrócony, w innych chroniony i nie można go odczytać.

Odbicia i błyski psują się najbardziej
Lustra, woda, mokry asfalt i metal są definiowane przez głębię własnej powierzchni, a nie przez obraz w nich odbity. Kiedy punkt widzenia się przesuwa, odbicie odpływa nie wiadomo gdzie. Jeśli błysk jest "namalowany" na powierzchni, nie zachowuje się tak, jak powinien w prawdziwym świecie. To właśnie najbardziej efektowna, błyszcząca treść wygląda płasko i źle w stereo.

Interfejs, celownik i HUD
Dwuwymiarowe elementy na wierzchu klatki - paski zdrowia, menu, celownik - są rysowane na zerowej głębi, więc po przetworzeniu trafiają w niewłaściwą odległość stereo. Interfejs albo wbija się w ekran, albo wisi przed sceną. Celownik to osobny ból głowy; jego pozycję głębi prawie zawsze trzeba regulować ręcznie.

Jedna klatka dla obu oczu
Oba oczy widzą ten sam obraz, tylko przesunięty. Przy uczciwym renderowaniu stereo każde oko otrzymuje własne poprawne błyski, cienie i refrakcje; tutaj tak się nie stanie. Z tego powodu obiekty wydają się płaskimi warstwami wyciętymi ze sklejki i ułożonymi według głębi, a nie trójwymiarowymi bryłami. W materiałach anglojęzycznych efekt ten nazywany jest efektem "kartonu".

Dostrajanie dla każdej gry
Pole widzenia, zakres głębi i zbieżność są ustawiane ręcznie dla każdej gry osobno. Chybienie daje albo zmęczenie oczu z powodu nadmiernej zbieżności, albo niewłaściwą skalę, gdzie świat wygląda jak zabawka lub gigantyczny, albo nawet odwróconą głębię. Jest to rozwiązanie "dostrój i zrozum", a nie "zainstaluj i graj".

Opóźnienie i nierówne klatki
Gra renderuje klatki nierównomiernie, a klient dostosowuje je do stabilnych fps wyświetlacza poprzez powtarzanie gotowych klatek. Samo powtarzanie nie wprowadza zniekształceń, ale opóźnienie między akcją a obrazem kumuluje się: przechwytywanie klatki, przetwarzanie, wyjście. W przypadku śledzenia głowy, każde takie opóźnienie jest odczuwalne jako "pływanie" sceny. Game Config ma do tego parametr Frame Capture Delay, aby dostroić moment przechwytywania.

Szczątkowe przesłuchy i wysokie wymagania monitora
Techniki programowe - wstawianie czarnej klatki i tryb 60/120/240 - tłumią duchy, ale nie usuwają ich całkowicie, ponieważ przesłuch jest determinowany przez wiele czynników: fizykę panelu wyświetlacza i samych okularów. Zależy od czasu odpowiedzi piksela, szybkości przełączania, kontrastu soczewek okularów i pionowej częstotliwości odświeżania ekranu. Ponadto najbardziej agresywny tryb wymaga szybkiego panelu 240 Hz z krótkim czasem podtrzymania piksela, co nie każdy użytkownik ma. W przeciwieństwie do NVIDIA 3D Vision, ReShade nie odtwarza gotowej objętości, ale syntetyzuje ją z płaskiej klatki. Dlatego dziury wzdłuż konturów, nieprawidłowe odbicia i pływające krawędzie są stabilnymi artefaktami metody, a nie tymczasową wadą.

Geometria stereo jest tutaj uczciwa, a żadne z artefaktów syntezy obrazu - dysokluzja, "karton", zepsute odbicia - nie występują. Ale ta metoda ma swój własny koszt i jest inny.

Gra musi obsługiwać VR
To jest główne ograniczenie. Metoda nie działa z dowolną grą: wymaga albo wbudowanej obsługi VR, albo moda VR. Jeśli gotowy mod nie istnieje, ścieżka OpenVR nie zadziała, i pozostaje tylko ReShade ze wszystkimi swoimi artefaktami. Innymi słowy, szeroka kompatybilność, dla której istnieje pierwsza ścieżka, jest tutaj całkowicie stracona.

Podwójne obciążenie karty graficznej
Scena jest naprawdę renderowana dwukrotnie, z dwóch kamer. Nie ma oszczędności, jaką daje reprojekcja pojedynczego widoku: wydajność spada tak samo, jak w prawdziwym VR. Jest to częściowo kompensowane przez ustawienie Resolution w VR Config - rozdzielczość na oko może być obniżona, a WibbleWobble przeskaluje obraz do rozdzielczości wyświetlacza.

Skomplikowana instalacja
SteamVR musi być zainstalowany. Sterownik jest rejestrowany przez Install.bat z uprawnieniami administratora, po czym należy ręcznie dodać dwie linie do pliku config\steamvr.vrsettings: "forcedDriver": "WibbleWobbleVR" i "activateMultipleDrivers": "true". Następnie wykonaj Room Setup w trybie STANDING ONLY. Błąd na dowolnym etapie i zamiast stereo dostajesz czarny ekran bez jasnego komunikatu o przyczynie.

Ograniczenia samego OpenVR
Niektórych ustawień nie można zmienić w locie. Jeśli zmienisz rozdzielczość lub częstotliwość wyjściową, wymagany jest restart SteamVR. Jest to ograniczenie platformy, a nie programu, ale znacznie spowalnia dostrajanie gier.

Optymalizacja renderowania psuje niektóre gry
VR Config ma parametr Optimise Single Eye, który pozwala na renderowanie tylko jednego oka lub obu przy połowie FOV. Autor projektu ostrzega bezpośrednio: tryb "Both" jest najbardziej problematyczny - możliwe są winietowanie i desynchronizacja oczu, a obraz może "przeskakiwać". W niektórych grach optymalizacja będzie musiała być całkowicie wyłączona.

Walka o fokus okna
Niektóre gry nie przekazują fokusu do interfejsu WibbleWobble: kombinacja klawiszy SHIFT + END nie działa, albo UI jest rysowane, ale nie można go kontrolować. Trzeba przełączać się ręcznie przez ALT + TAB. Osobny problem: okno WibbleWobble nie może być zamknięte - program nie odzyskuje sprawności, a grę trzeba będzie uruchomić ponownie.

Wyśrodkowywanie przy każdym uruchomieniu
Śledzenie musi być wyśrodkowane ręcznie (SHIFT + .) za każdym razem przy starcie, ustawione dokładnie na środku obszaru roboczego przed ekranami. Jeśli głowa nie była tam podczas centrowania, reprojekcja zaczyna dziwnie działać, a skala "dryfuje". Według własnego przyznania autora, trafienie we właściwą pozycję wymaga praktyki. Można to później naprawić, używając bardziej inteligentnego oprogramowania do śledzenia.

Dziwactwa poszczególnych aplikacji
Niektóre programy działają tylko z określonymi markami zestawów VR. Dla nich VR Config ma parametr Headset Identification, który sprawia, że WibbleWobble przedstawia się jako inne urządzenie - na przykład Vive - bez czego śledzenie głowy nie działa w DEOVR. Innymi słowy, kompatybilność miejscami opiera się na takich obejściach.

Wspólna płaszczyzna z pierwszą ścieżką
Wszystko, co dotyczy sprzętu, obowiązuje dla obu metod: szczątkowe przesłuchy, wymóg szybkiego panelu, potrzeba precyzyjnej synchronizacji okularów. Wyjście stereo, emitery, BFI i CRT Sim działają tak samo, niezależnie od tego, skąd pochodzi para stereo.