애플의 AR 라이다 센서에 대해

아이패드 프로4세대에 탑재된 라이다 센서 기준임

 

 

 

 

 

 

카메라와 라이다 센서를 동시에 활용해서 깊이정보를 가진 이미지를 얻어낼 수 있음. 

 

 

사람 눈은 라이다랑 다르게 깊이를 인식할 수 없지만 한쪽 눈으로만 보더라도 

우리 뇌가 처리해서 어떤 물체가 멀리 있고 가까이 있는지 대강 추측해서 판별할 수 있잖아.

 

마찬가지로 머신러닝 알고리즘을 이용하면 카메라만으로도 추측된 깊이 정보를 얻을 수 있음. 

여기에 정확도를 위해 라이다에서 측정된 정보도 같이 활용하는것임.

 

 

 

왼쪽은 카메라에서 얻은 이미지 / 오른쪽은 라이다 센서에서 얻어낸 깊이 값(보라색에 가까울수록 가까이 있는 것)

 

 

 

 

 

 

저 두가지 정보를 조합하고 머신러닝 알고리즘을 거치면 

 

 

 

 

 

 

 

이런 깊이 정보가 매핑된 이미지를 초당 60프레임으로 얻을 수 있음. 보라색에 가까울수록 가까이 있다는 뜻. 

 

이게 왜 필요할까?

 

 

 

 

 

위 사진을 보면 띄워진 AR 객체가 의자에 가려진 것을 볼 수 있음 

 

깊이 정보가 매핑된 이미지를 통해 의자가 AR 객체보다 가까이 있다는것을 판별할 수 있기 때문임. 

 

 

 

 

 

마찬가지로 이렇게 AR 객체가 사람 뒤에 가려지는것도 가능

 

즉 라이다는 자연스러운 AR 경험을 위해 쓰인다. 

 

 

 

 

 

 

 

 

또한 아래처럼

라이다 센서의 측정값 + 카메라 이미지 정보를 조합해 복셀 포인트 클라우드를 생성할 수 있음 

 

 

 

https://www.youtube.com/watch?v=iWv_uS6TSxw

 

 

https://www.youtube.com/watch?v=g9gqBAw-dgA

 

 

https://www.youtube.com/watch?v=ju2OU-nTAvQ

 

주변지형을 스캐닝 할 수 있는것이고 이는 주위환경을 이해해야 하는 AR에 있어 중요.

아이패드의 포인트 클라우드 캡쳐 성능은 초당 60프레임 수준으로 굉장히 높음. 

 

 

 

 

비교를 위해 아래는 인텔 8세대 i7 프로세서가 탑재된 드론에서 

인텔의 리얼센스 3D 센서를 통해 포인트 클라우드를 생성하는 영상

 

이게 인텔 리얼센스 

 

 

 

 

https://www.youtube.com/watch?v=oDilesu1los

보면 아이패드보다 훨씬 느린 것을 알 수 있다. 

 

인텔이 밝힌 바에 따르면 i5-6600K 에서 초당 9프레임의 포인트 클라우드 생성이 가능하다고 한다. 

아이패드는 반면 초당 60프레임으로 생성해냄. 

왜 아이패드가 훨씬 빠른가? 애플은 GPU, NPU까지 사용해가며 최적화 시켰기 때문이라고 한다. 

애플이 AR 기술에 상당히 많은 투자를 했음을 짐작할 수 있음 

 

 

 

 

 

 

이렇게 폴리곤으로 이루어진 메쉬 데이터로 생성하는것도 가능 

 

 

 

https://www.youtube.com/watch?v=GA3qKxSIjVQ

 

 

 

 

 

 

 

요약 

 

애플은 라이다 센서를 좀 더 정밀한 3차원 데이터를 얻기 위해 쓴다 

 

A칩의 성능 + 최적화로 아이패드에서도 60프레임의 데이터를 얻어낼 수 있다.