“우리가 즐기는 생생한 콘텐츠의 숨은 주역은 바로 모션캡처다”
넷플릭스 애니메이션 영화 <케이팝 데몬 헌터스>는 화려한 액션과 개성 넘치는 캐릭터들로 전 세계 관객을 사로잡았다. 화면 속 캐릭터들의 생생한 움직임 뒤에는 실제 배우들의 연기가 숨어 있다. 배우들이 몸으로 표현한 춤과 표정, 미세한 제스처는 특수 장비가 움직임을 기록해 디지털로 변환하면서 화면 속에 재현됐다. 그 결과 가상의 캐릭터들은 마치 현실 속 인물처럼 살아 숨쉰다. 이처럼 현실의 연기를 디지털로 전환해주는 핵심은 바로 ‘모션캡처’ 기술이다.
모션캡처는 특정 대상의 움직임을 센서로 기록하는 기술이다. 대개 목, 어깨, 손목과 같은 관절 부위에 부착된 센서가 몸짓이나 동작을 포착해 디지털 데이터로 전환하면, 해당 자세는 3차원 화면 위에 그대로 재현된다. 영화 속 캐릭터가 검을 휘두르거나 게임 속 아바타가 달리는 장면도 모션캡처 기술을 통해 더욱 실감 나는 묘사가 가능하다. 재현된 모션캡처 데이터에 별도의 그래픽만 입히면 되기 때문이다. 박상민(경일대학교 만화애니메이션학부) 교수는 “모션캡처 기술은 대표적으로 할리우드 영화뿐만 아니라 게임, 애니메이션 등 다양한 문화 산업에서 널리 사용되고 있다”고 말했다.
전문가들은 모션캡처 기술이 영화나 게임 산업을 넘어 스포츠, 의료, 로봇 등 다양한 분야로 확산될 것이라고 입을 모았다. 사람의 움직임을 정밀하게 기록하고 분석할 수 있기 때문이다. 김진(중앙대학교 첨단영상대학원 가상환경연구실) 연구원은 “모션캡처는 스포츠·재활·기기 조작 현장에서 실시간 피드백과 개인 맞춤형 코칭을 제공하는 핵심 인프라로 자리잡을 것”이라고 강조했다.
빛의 반사를 좌표로 바꾸다
모션캡처 기술의 핵심은 3차원 데이터를 추출하는 데 있다. 데이터를 추출하는 방법에 따라 ▲광학식 ▲관성식 ▲마커리스 모션캡처 등으로 구분된다. 가장 보편적으로 사용되는 ‘광학식 모션캡처’는 적외선 카메라와 빛을 반사하는 마커(Marker)를 활용해 대상의 움직임을 기록하는 방식이다. 카메라 주변의 적외선 조명에서 빛을 쏘면 팔이나 다리에 부착된 마커가 이를 반사한다. 적외선 카메라는 이 반사 신호를 감지해 마커의 위치를 기록하고 여러 대의 카메라가 동시에 촬영한 정보를 합쳐 입체적인 영상 데이터를 만들어낸다. 홍원빈(예원예술대학교 게임애니메이션전공) 교수는 “적외선 카메라는 빛의 간섭을 받지 않고 적외선에만 반응하므로 어두운 환경에서도 마커를 선명하게 인식할 수 있다”며 “이에 안정적인 움직임 추적이 가능하다”고 전했다.
광학식 모션캡처에서는 대상의 좌푯값을 정밀하게 추적하기 위해 ‘삼각측량법’이 활용된다. 2개의 시점에서 동일한 지점을 관찰한다고 가정해보자. 두 시점과 하나의 점을 연결하면 하나의 삼각형이 만들어진다. 삼각함수의 원리를 통해 이 삼각형의 변의 길이 및 각도 계산 시 상술한 지점의 위치를 구할 수 있다. 같은 원리로 2대의 카메라가 동시에 같은 마커를 포착하면, 각 카메라의 위치와 시선 각도를 토대로 가상의 삼각형이 형성된다. 이 삼각형의 변의 길이와 각의 크기를 계산하면 마커의 실제 공간 좌표를 산출할 수 있다. 이러한 연산이 수백 개의 마커에 대해 초당 수백 차례 반복되면 인체 관절이나 물체 표면의 미세한 움직임까지 3차원 궤적으로 재현된다. 수집·계산된 좌푯값은 인체 관절에 대응돼 최종적으로 컴퓨터 그래픽 환경 속에서 실제와 유사한 움직임으로 구현된다. 김규현(중앙대학교 첨단영상대학원) 교수는 “카메라가 많을수록 마커에서 반사되는 빛을 다양한 방향에서 수집할 수 있어 위치 추적의 정확도가 더욱 높아진다”고 설명했다.
삼각측량법을 활용해 높은 정밀도를 확보함으로써 인체의 미세한 움직임까지 포착할 수 있다는 점이 광학식 모션캡처의 대표적인 장점이다. 이러한 특성 덕분에 영화·애니메이션 등 사실감이 중요한 분야에서 광학식 모션캡처가 주로 사용된다. 장민수(캘리포니아대학교 어바인 캠퍼스 의과대학 병리학전공) 연구원은 “광학식 모션캡처는 정확도와 정밀성 측면에서 우수한 성능을 띠지만, 카메라가 설치된 공간 내에서만 측정이 가능하다는 제약이 존재한다”고 밝혔다.
센서가 해석하는 움직임의 언어
광학식 모션캡처와 달리 ‘관성식 모션캡처’는 모션캡처 슈트에 부착된 센서를 통해 좌표를 인식하는 방법이다. 빛을 반사해 좌표를 표시하는 마커와 달리 슈트의 센서는 좌표 정보를 직접 컴퓨터에 전달한다. 김 연구원은 “관성식 모션캡처는 광학식 모션캡처의 단점인 공간 제약과 장애물로 인해 마커가 가려지는 문제를 해결한 방식”이라고 전했다.
관성식 모션캡처는 ‘IMU(Inertial Measurement Unit) 센서’를 기반으로 작동한다. IMU 센서는 물체의 가속도*와 각속도**를 동시에 포착해 대상의 이동 거리 및 방향, 동작을 실시간 3차원 데이터로 구현하는 방식이다. 예를 들어 달리는 사람의 허리에 IMU 센서를 부착하면 센서가 앞뒤로 흔들리는 가속도와 몸통이 좌우로 회전하는 각속도를 동시에 감지한다. 이를 통해 몇 미터를 어떤 방향으로 뛰었는지, 몸을 어떻게 틀었는지를 즉시 3차원 좌표로 환산할 수 있다.
IMU 센서가 이러한 역할을 수행할 수 있는 이유는 센서 내부에 ▲가속도 ▲자이로 ▲지자기 센서가 탑재돼 있기 때문이다. 먼저 ‘가속도 센서’는 물체가 직선으로 움직이는 정도를 측정한다. 물체가 정지해 있을 때는 중력이 작용하는 수직 방향을 감지해 기기의 기울기를 계산할 수 있다. 반대로 물체가 이동할 때는 상하좌우 방향의 속도를 감지해 대상이 얼마나 빠르게 움직이는지를 측정한다. 홍 교수는 “가속도 센서는 동작의 속도를 측정하기 위한 기준점이 된다”고 말했다.
하지만 가속도 센서만으로는 물체의 회전을 제대로 파악할 수 없다. 이 한계를 보완하는 것이 ‘자이로 센서’다. 자이로 센서는 회전 운동을 추적하는 역할을 한다. 이를 통해 물체가 시간당 몇 도만큼 회전했는지에 대한 정보를 얻을 수 있다. 스마트폰을 좌우로 기울였을 때 화면이 회전하는 것이 자이로 센서의 대표적인 예다. 장 연구원은 “물체가 시간당 몇 도 회전했는지에 대한 정보를 자이로 센서를 통해 얻을 수 있다”고 덧붙였다.
자이로 센서 역시 시간이 지날수록 오차가 누적되며 오류가 나는 현상을 피하기 어렵다. 가속도 센서와 자이로 센서만으로는 동작의 방향을 측정할 수 없기 때문이다. 이때 보정 역할을 하는 것이 ‘지자기(地磁氣) 센서’다. 지자기 센서는 지구가 방출하는 자기장을 관측한다. 지구의 자기장은 일정하므로 이를 통해 사방을 구분하고 동서남북과 같이 물체가 어느 쪽을 향하는지 알려준다. 이는 나침반이 항상 북쪽을 가리키는 원리와 같다. 박 교수는 “관성식 모션캡처는 자기장에 민감하기 때문에 주변에 금속 구조물이 있으면 위치값이 서서히 변하는 오류가 생길 수 있다”고 설명했다.
관성식 모션캡처는 광학식 모션캡처와 달리 빛으로부터 간섭받지 않아 실내외 환경에 구애받지 않고 좌표를 추적할 수 있다. 센서를 신체에 부착해 관절의 가속 및 회전을 측정하기 때문에 격렬한 동작에서도 안정적으로 데이터를 확보할 수 있다. 이러한 특성 덕분에 스포츠 분야에서 관성식 모션캡처가 주로 활용된다. 장 연구원은 “관성식 모션캡처는 카메라를 이용하지 않고 센서가 곧바로 컴퓨터에 데이터를 전달하므로 광학식 모션캡처에 비해 데이터 전송 지연이 적다”고 전했다.
빛의 삼원색으로 기록하는 형상
마커리스(Markerless) 모션캡처는 광학식·관성식 모션캡처에 비해 신체에 부착하는 장치 없이 RGB(Red-Green-Blue) 카메라를 이용해 움직임을 추적하는 방법이다. RGB 카메라는 빛의 삼원색인 빨간색, 초록색, 파란색을 조합해 색상을 표현하는 장치로, 촬영 스튜디오 같은 일상에서 쉽게 접할 수 있는 미러리스 카메라***와 유사하다. 이를 활용하면 피사체의 색상, 질감, 명암 등의 정보를 추출할 수 있다. 김 연구원은 “특수 센서나 고가 장비 없이 고해상도 영상만으로 충분한 품질의 포즈 추정이 가능해 장비·운영 비용을 낮출 수 있다”고 말했다.
RGB 카메라로 사람의 움직임을 추적하는 기술은 촬영된 화면에서 배경과 사람을 구분하는 것에서 시작한다. 이때 배경과 사람을 구분하기 위해서는 ‘세그멘테이션(Segmentation)’이 활용된다. 세그멘테이션은 피부나 옷과 같은 특정 색상이나 명암을 활용해 대상의 신체 부위를 인식하고 이를 추출하는 방식이다. 이렇게 분리된 인물의 관절 위치가 좌표로 계산돼 가상의 골격 구조에 연결된다. 이후 인공지능이 흔들림이나 오인식된 부분을 보정함으로써 실제 사람과 유사한 자연스러운 동작으로 완성된다. 김 연구원은 “RGB 카메라로 촬영한 영상의 각 프레임에서 딥러닝 기반 인공지능 모델을 활용해 머리·몸통·손·발 등의 관절을 포착한다”고 설명했다.
마커리스 모션캡처는 신체에 부착하는 장비가 필요하지 않아 낮은 비용적 부담과 높은 접근성이라는 장점을 갖는다. 그러나 다른 모션캡처 방식에 비해 정확도가 떨어져 실무에서 사용되기 어렵다는 단점을 지닌다. 권정훈(차세대융합기술연구원 연구본부 융합플랫폼 연구실) 본부장은 “마커리스 모션캡처를 활용할 시에는 자유로운 동작을 수행하기 손쉽다”고 전했다. 이어 김 교수는 “마커리스 모션캡처는 미래에 유용하게 사용될 방법”이라며 “낮은 정확도라는 문제만 해결한다면 완벽에 가까운 모션캡처 방식으로 자리매김할 것”이라고 밝혔다.
*가속도 : 단위 시간에 대한 속도의 변화율
**각속도 : 회전 운동하는 물체가 단위 시간에 움직이는 각도
***미러리스 카메라 : 거울 없이 빛이 직접 이미지 센서에 도달하는 구조의 카메라
박석희 기자
