눈이 인식하는 최대 해상도에 도달하는 VR 헤드셋

최근 중국의 소비자 전자 기업인 TCL Technology가 약 163인치의 거대한 4K Micro-LED 텔레비전을 공개했습니다. 한 홈 시어터 전문가는 이를 “다스 베이더만큼 키가 크다”고 설명했습니다. 이 TV의 830만 개의 각 픽셀은 독립적인 미세 LED로, 이러한 기술에 대해 TCL은 10만 달러 이상을 청구합니다.

그러나 여기에 진정한 놀라움이 있습니다. TCL의 새로운 TV는 최고의 픽셀 밀도나 독특한 디스플레이가 아닙니다. 이 영예는 AR/VR 헤드셋용으로 제작된 Micro-OLED 및 Micro-LED 디스플레이의 새로운 분야에 속합니다. Micro-LED 디스플레이 분야의 선두주자인 Mojo Vision은 최근 CES 2024에서 1cm당 5,510픽셀 (인치당 14,000픽셀)의 밀도를 가진 완전한 컬러 Micro-LED 디스플레이 전면 평면을 시연했습니다. 이 디스플레이는 TCL의 텔레비전 크기로 확대되면 2200억 개가 넘는 픽셀을 담을 것입니다.

이번 포스팅에서는 이에 대해 소개된 IEEE Spectrum의 글을 소개합니다.

vr headset
출처: IEEE Spectrum

개요

이렇게 높은 픽셀 밀도는 놀랍게 보일 수 있지만, 다음 세대의 증강 혼합 및 가상 현실 헤드셋에는 필수적인 요소입니다. 센티미터당 더 많은 픽셀을 넣는 것은 사실적인 시각뿐만 아니라 필요한 수준의 시각 해상도를 달성하는 더 작고 더 조밀한 디스플레이를 가능하게 합니다. 그러나 이런 규모로 디스플레이를 제작하는 것은 쉽지 않으며, 이는 AR/VR 산업이 아직 극복해야 할 독특한 기술적 난관으로 이어집니다.

“왜 이렇게 많은 픽셀이 필요한가요? 누가 더 많은 픽셀을 원하지 않겠어요?”라고 VR 헤드셋 제조업체 Varjo의 최고 제품 책임자인 패트릭 와이어트가 묻습니다. “이제 질문은, 어떻게 이를 수행할 것인가?”

더 많은 픽셀은 더 많은 문제를 만든다

최신의 완전히 몰입형 AR/VR 헤드셋에서 해상도는 여전히 중요한 관심사입니다. Apple의 Vision Pro는 2개의 디스플레이로 총 2,300만 개 이상의 픽셀을 담고 있어 가장 잘 알려진 예시 중 하나입니다. 그러나 이것만이 아닙니다. Varjo의 XR4는 3,840 x 3,744 해상도를 가진 두 개의 디스플레이를 갖추고 있으며, 픽셀 수에 대한 높은 요구를 장기간 추구해온 Pimax는 6K QLED 미니 LED 디스플레이를 장착한 헤드셋을 개발 중입니다.

피맥스의 CEO인 노르딕 렌은 목표가 총 픽셀 수가 아닌 대신 픽셀-퍼-도(degree) (PPD)인 사용자 시야의 각도당 픽셀 수를 말하며, “PPD는 시각적 명료도를 정의하는 데 중요한 역할을 합니다,”라고 말했습니다. “피맥스나 애플과 같은 산업 선두주자라도 몰입 품질이 완벽하지 않습니다. 해상도에 대한 모든 증가는 경험을 높입니다.”

그럼에도 불구하고, 최신의 최고의 디스플레이 기술을 갖춘 최신 헤드셋들은 와이어트가 “인간 해상도 기준”이라고 부르는 것에 근접하고 있습니다. 즉, 시야가 20/20인 사람이 더 이상 개선된 것을 보지 못할 한계입니다. 미래의 디스플레이는 이 한계를 극복할 것입니다.

그러나 결정적으로 선명한 이미지를 구현하는 것은 전쟁의 단지 1/4에 불과합니다. 고해상도 디스플레이는 높은 주사율로 렌더링할 수 있는 하드웨어에 의해 구동되어야 합니다. Pimax와 Varjo 헤드셋은 전용 그래픽 카드를 장착한 데스크톱 PC에 연결함으로써 이 문제에 대처하고 있습니다. 반면에 애플의 Vision Pro는 효과적으로 사용자의 얼굴에 맥북 에어를 붙인 것입니다.

두 가지 접근 방식 모두 문제가 있습니다. 데스크톱 PC는 강력하고 융통성이 있지만, 일반적으로 유선 연결이 필요합니다(무선 추가 기능은 때로 사용 가능합니다). Vision Pro는 출시 시 무선으로 제공되지만, 다소 무거우며 배터리 수명이 부족하며 Varjo나 Pimax 헤드셋의 선명도를 따라잡지 못합니다.

“순수한 그래픽 컴퓨팅 파워의 결핍은 여전히 도전이며, 시간이 지남에 따라 심화될 것으로 예상됩니다,”라고 렌은 관찰합니다.

고해상도는 그냥 얻어지지 않는다

다행히도 해결책이 곧 나타날 것으로 기대됩니다.

포비에이티드 렌더링은 가장 즉각적인 해결책을 제공합니다. 이 기술은 인간의 시야가 제한된 주변 시야를 이용합니다. 사용자가 초점을 맞춘 디스플레이 부분만 전체 해상도로 렌더링되며, 나머지 부분은 해상도가 감소됩니다. 사용자는 이를 전혀 인식하지 못해야 합니다. 왜냐하면 우리의 주변 시야의 선명도는 초점이 맞춰진 중심 시야보다 훨씬 낮기 때문입니다.

이 아이디어는 새로운 것이 아닙니다. 나는 2013년에 마이크로소프트의 연구소를 견학하면서 처음 만났습니다. 그러나 대량 생산된 헤드셋에 적용하는 것이 최근에야 실용적으로 가능해졌습니다. 포비에이티드 렌더링은 사용자가 어디를 보고 있는지를 정확하게 측정하고 디스플레이 해상도를 조정할 수 있는 안구 추적 카메라와 함께 가장 잘 작동합니다. 이 작업은 뛰어난 카메라와 데이터를 최소한의 지연으로 분석할 수 있는 처리 능력이 필요합니다. 이것이 Vision Pro의 M1 칩이 헤드셋의 다양한 센서를 처리하기 위해 R1이라는 두 번째 칩을 돕는 이유입니다.

포비에이티드 렌더링을 지원하는 Varjo XR-4 Focal Edition, Pimax Crystal, Oculus Quest Pro 등 소수의 경쟁사만 있습니다. 그리고 아직 개선할 여지가 많이 있습니다. 나는 때때로 Vision Pro의 구현이 디스플레이를 빠르게 훑어도 지연되거나 부정확한 경우가 있다는 것을 알았습니다. 더 나은 카메라를 사용하거나 카메라에 더 많은 처리 능력을 할당하는 것이 이 문제를 해결하는 데 도움이 될 수 있습니다. 그러나 이것은 비용, 무게 및 복잡성을 추가한다는 문제도 있습니다. 이는 엔지니어들이 미래 헤드셋을 위해 해결해야 할 문제입니다.

렌은 인공 지능이 또 다른 유망한 옵션이라고 생각합니다. “지능형 프레임 보간 알고리즘은 점점 중요해지고 있습니다,”라고 그는 말합니다. “그리고 알고리즘 자체가 빠르게 진화하고 있습니다.” 이미지에서 노이즈나 그림자를 제거하는 AI 노이즈 제거는 가상 현실에서 시각적 선명도뿐만 아니라 헤드셋 카메라로 촬영된 혼합 현실 비디오의 이미지 품질과 성능을 향상시킬 수 있는 중요한 요소가 될 수 있습니다.

이것이 익숙하게 들리는 이유가 있습니다. Nvidia는 프레임 보간을 사용하여 실시간 렌더링에 합성 프레임을 추가하고 레이 트레이싱 반사의 품질을 향상시키는 기술을 보여줍니다. 이러한 기술은 컴퓨터 그래픽의 성능을 다섯 배 이상 향상시킬 수 있습니다. 아직 Nvidia가 VR용으로 이러한 기술을 공식적으로 제공하지는 않았지만, 와이어트는 시간 문제라고 생각합니다.

“왜 그게 동작하지 않을까요?”라고 와이어트는 말합니다. “그리고 또 다른 흥미로운 점은 헤드셋 자체의 하드웨어에서 신경 가속기를 통해 업샘플링할 수 있는 것입니다. [AI]를 위한 내장 하드웨어가 장착된 헤드셋이 될 수도 있습니다.”

가장 작은 디스플레이가 마주한 큰 난관

픽셀 밀도를 높이는 것의 가장 명백한 이점은 시각적 선명도를 향상시키는 것이지만, 가벼운 AR 안경을 만들려는 기업들은 향상된 해상도만큼이나 작고 소형의 저전력 소비를 극도로 필요로 합니다. 여기서 유일한 실현 가능한 옵션은 Micro-LED입니다. 다른 기술들은 픽셀 밀도, 밝기 및 전력 면에서 경쟁할 수 없습니다. 그리고 이것은 Micro-LED가 더 날카롭고 더 생생해 보일 것이라는 것을 의미합니다. 기술의 놀라운 픽셀 밀도는 또한 유연성을 제공합니다. 14,000 ppi가 가능하다면, 10,000 또는 5,000도 가능할 것입니다. 마찬가지로 Mojo Vision의 최신 제품처럼 두께가 450 마이크로미터인 Micro-LED를 제작할 수 있다면 다양한 응용 분야에 대한 더 큰 Micro-LED를 제조하는 것도 가능할 것입니다.

그러나 이를 제작하는 것이 관건입니다. Micro-LCD 및 Micro-OLED 디스플레이는 제조업체가 대규모로 생산할 수 있는 비교적 성숙한 기술입니다. 그러나 Micro-LED는 아직까지 그렇지 않습니다. Mojo Vision의 연구는 방금 해결되기 시작한 기본적인 문제에 집중되어 있습니다.

“우리가 말한 것은 [다른 회사들의] 양자점이 충분히 신뢰성이 없다는 것이었습니다. 방출량이 빠르게 저하되는데, 이는 OLED에서 일어나는 것과 유사합니다,”라고 Mojo Vision CEO 니킬 발람은 말했습니다. “우리의 양자점은 이 애플리케이션을 위해 처음부터 설계되었습니다. TV 양자점이 아닙니다. 그래서 [다른 회사들]은 양자점에 닿는 빛의 수준을 약 4 밀리와트로 예상하지만, 우리는 4 와트로 그것을 처리하고 있습니다.”

그리고 Mojo Vision이 양자점을 추구하도록 결정한 것은 Micro-LED가 직면한 다른 기본적인 문제를 피하기 위한 것입니다. 즉, 미세한 LED에서 원하는 붉은 색상을 얻는 것이 어렵다는 것입니다.

“문제는 인듐이 큰 원자임니다,”라고 발람은 말했습니다. “인듐 갈륨 질화물(InGaN)을 사용하고 있습니다. 이것은 LED에 사용되는 일반적인 반도체 재료입니다. 하지만 어떻게 인듐의 양을 1.3 또는 1.2 마이크로미터에서 다음으로 조절할 수 있습니까? 이것은 정말 어려운 문제입니다.” Mojo Vision은 대신 파란색 빛을 빨간색으로 변환하기 위해 양자점을 사용합니다.

이러한 도전은 광범위한 채택에 대한 장애물로 남아 있지만, 해결책을 찾기 위해 소요된 노력은 부족하지 않습니다. Mojo Vision은 다양한 다른 기업들과 함께 이 분야에 참여하고 있습니다. Jade Bird Display는 2023년에 처음으로 완전한 컬러 Micro-LED 디스플레이를 선보였으나, 현재는 640 x 480의 해상도로 제한되어 있습니다. 그리고 경량 AR 안경 분야의 선도 기업인 Vuzix는 다음 세대 헤드셋을 위해 2K x 2K Micro-LED 디스플레이를 설계하기 위해 Micro-LED 회사 Atomistic과 협력했습니다.

그럼에도 불구하고, Mojo Vision의 양자점 Micro-

LED 프론트플레인과 같은 발전은 이 기술이 실현 가능하며, 10년 전에는 불가능했던 픽셀 밀도를 달성할 수 있다는 것을 보여줍니다. 이는 픽셀 밀도가 어떤 디스플레이에도 더 이상 제한이 되지 않을 것이라는 미래를 시사하며, 그러나 완전히 구현되기까지는 몇 년 또는 수십 년이 걸릴 수 있습니다.

“이런 돌파가 중요했습니다,”라고 발람은 말합니다. “이제 우리는 최적화할 수 있습니다. 하지만 이미 꽤 멋지게 보입니다.”

마무리

이번 포스팅에서는 Micro-LED 기술을 중심으로한 픽셀 밀도의 중요성과 이를 통한 시각적 선명도 향상에 대해 논의했습니다. 가벼운 AR 안경을 만들기 위해서는 저전력 소비와 작고 소형의 디스플레이가 필수적이며, Micro-LED가 이를 위한 유일한 실현 가능한 옵션임을 확인했습니다. 하지만 Micro-LED 기술에는 여전히 다양한 도전과제가 존재하며, 이를 극복하기 위해 많은 노력이 기울여지고 있습니다. 또한, 기술의 발전으로 인해 픽셀 밀도의 한계가 더 이상 제한되지 않을 가능성을 엿볼 수 있지만, 이를 실현하기까지는 시간이 걸릴 것으로 예상됩니다. 그러나 이러한 도전에도 불구하고, Micro-LED 기술은 미래의 디스플레이 기술을 혁신하고 시각적 경험을 더욱 향상시킬 것으로 기대됩니다.

Leave a Comment