지갑을 꺼내지 않아도 얼굴만 비추면 결제가 이뤄지는 세상을 상상해 본 적 있는가. 이제 그러한 모습은 상상이 아닌 현실로 실현되고 있다. 이미 국내외 여러 매장에서 얼굴 인식만으로 결제가 가능한 서비스가 도입되고 있다. 카드나 스마트폰과 같은 별도의 결제 수단 없이 얼굴 인식만으로 간편하게 결제가 이뤄지는 기술이 바로 ‘페이스페이(Facepay)’다.
페이스페이는 얼굴 인식 기술을 이용해 사람의 얼굴만으로 결제가 이뤄지는 서비스다. 카메라가 사용자의 얼굴을 3D로 스캔하면 인공지능이 눈, 코, 입 등의 특징을 숫자로 바꿔 저장한다. 결제할 때 단말기가 얼굴을 다시 인식해 서버에 저장된 얼굴 데이터와 비교하고 일정 수준 이상 일치하면 결제가 승인된다. 이규빈(GIST AI융합학과) 교수는 “페이스페이는 고성능 센서와 인공지능기술을 활용해 사람들의 얼굴을 빠르고 정확하게 구별하는 기술”이라고 설명했다.
인공지능이 만든 얼굴의 언어
페이스페이는 ▲3D 얼굴 스캔 ▲랜드마크 추출 ▲임베딩 벡터화 ▲실시간 인증 ▲복호화 등의 과정을 통해 작동한다. 먼저 페이스페이의 핵심이 되는 사용자의 얼굴 형태를 정밀하게 파악하기 위해 ‘3D 얼굴 스캔’ 과정을 거친다. 3D 얼굴 스캔은 ‘SL(StructuredLight) 방식’과 ‘ToF(Time-of-Flight) 방식’으로 구분된다. 이중 SL 방식은 카메라와 적외선 빛을 쏘는 프로젝터를 이용한다. 프로젝터가 얼굴에 패턴 형태의 적외선을 비추면 얼굴의 굴곡에 따라 빛의 모양이 달라진다. 카메라는 이 변형된 패턴을 촬영해 얼굴의 깊이 정보를 계산한다. 김익재(KIST AI·로봇연구소) 소장은 “SL 방식은 고해상도의 3D 데이터를 얻는 데 유리하지만, 햇빛 등 외부의 강한 적외선이 패턴을 교란시킬 수 있다”고 말했다.
SL 방식으로 얼굴의 굴곡을 구하기 위해서는 ‘삼각측량법’이 활용된다. 삼각측량법은 두 개의 서로 다른 시점에서 동일한 대상을 관찰할 때 형성되는 삼각형의 기하학적 원리를 이용한다. 서로 다른 위치에 존재하는 프로젝터와 카메라, 얼굴 위의 한 점을 연결하면 하나의 삼각형이 만들어진다. 이때 프로젝터가 얼굴에 비춘 적외선 패턴은 얼굴의 굴곡에 따라 변형되고 카메라는 이 변형된 패턴을 촬영한다. 이후 각도 차이와 거리 정보를 계산하면 얼굴의 각 지점까지의 깊이를 정밀하게 산출할 수 있다. 이러한 계산이 얼굴 전체의 수천 개 지점에서 동시에 이뤄지면 얼굴의 미세한 굴곡까지 반영된 3차원 모델이 완성된다.
SL 방식이 빛의 패턴 왜곡을 통해 얼굴의 깊이를 계산했다면, ToF 방식은 빛이 이동하는 시간을 측정해 얼굴의 형태를 인식한다. 프로젝터가 사용자의 얼굴에 적외선을 발사하면 빛이 얼굴에 반사돼 다시 센서로 돌아온다. 이때 빛이 발사된 시점부터 되비쳐 돌아올 때까지 걸린 시간을 측정해 얼굴의 굴곡을 구한다. 빛의 속도가 일정하다는 물리 법칙을 토대로 측정하는 방식이다. 김 소장은 “ToF 방식은 외부 광원의 영향을 덜 받지만, 정밀도가 다소 낮을 수 있다는 한계를 갖는다”고 부연했다.
3D 얼굴 스캔으로 수집된 정보는 눈, 코, 입 등 얼굴의 주요 특징점을 찾아 좌푯값으로 변환하는 ‘랜드마크 추출’ 단계로 이어진다. 여기서 ‘CNN(Convolutional Neural Network)’이 활용된다. CNN은 이미지 속의 여러 부분에서 패턴을 찾아내 전체적인 형태를 인식하는 인공지능 알고리즘이다. 예를 들어 사람의 얼굴 사진을 인식할 때 CNN은 눈·코·입의 형태와 위치를 픽셀 단위로 분석해 각 부위의 패턴을 학습하고 이를 종합해 특정 인물의 얼굴 특징과 일치 여부를 판단한다. 김 소장은 “CNN은 이미지의 공간적 구조를 유지하면서 효율적으로 특징을 추출한다”고 전했다.
랜드마크 추출을 위해 CNN은 가장 먼저 ‘합성곱 연산’을 활용한다. 합성곱 연산은 이미지 속에서 특정한 패턴이나 특징을 찾아내는 과정이다. 이미지는 수많은 픽셀로 이뤄져 있으며 각 픽셀은 밝기나 색상을 숫자로 표현한다. 합성곱 연산은 이 픽셀 배열 위에 ‘필터’를 겹쳐가며 필터 안의 픽셀 값들을 곱하고 더하는 계산을 반복한다. 이때 필터는 일종의 돋보기처럼 작동해 이미지의 작은 부분을 살펴보며 선, 모서리, 곡선 등의 형태를 찾아내는 역할을 한다. 필터가 이미지를 조금씩 이동하며 연산을 수행하면 이미지 속에서 특정한 모양이나 질감이 두드러지는 부분이 드러난다. 이 결과가 바로 ‘특징 맵’으로 얼굴의 눈, 코, 입처럼 인식에 중요한 패턴이 어디에 있는지를 시각적으로 나타낸다. 이 교수는 “합성곱 연산은 특정한 패턴을 탐지하는 기능을 수행한다”고 말했다.
합성곱 연산 이후에는 이미지에서 불필요한 정보를 줄이고 핵심적인 특징만 추출하기 위해 ‘풀링 연산’이 이뤄진다. 풀링 연산은 합성곱을 통해 만들어진 특징 맵을 일정한 구역으로 나눈 뒤 각 구역에서 가장 대표적인 값만을 남기는 과정이다. 합성곱 연산이 반복되는 과정에서 불필요하게 증가하는 데이터량을 감소시키기 위함이다. 이를 통해 이미지의 가장 뚜렷한 특징만 남게 돼 계산량이 줄어든다. 이렇게 합성곱과 풀링 연산이 계속해서 반복되면 컴퓨터가 얼굴의 주요 특징을 단계적으로 인식하게 된다. 이 교수는 “풀링 연산은 합성곱 연산의 결과를 요약하는 역할을 한다”고 밝혔다.
앞선 단계에서 사용자의 얼굴을 스캔해 특징점을 분석했다면 이제 이러한 정보를 숫자로 변환해 컴퓨터가 이해할 수 있도록 ‘임베딩 벡터화’ 과정을 거쳐야 한다. 이 과정에서는 얼굴의 형태, 눈·코·입의 위치, 윤곽선 등이 수치화돼 ‘벡터’로 표현된다. 여기서 벡터란 눈의 간격, 코의 길이, 턱의 각도 등 얼굴의 여러 특징을 각각 숫자로 바꿔 한 줄에 나열한 좌표 형태의 데이터를 의미한다. 이렇게 만들어진 벡터는 각 얼굴을 고유하게 구분할 수 있는 좌푯값으로 작용하며, 서로 다른 얼굴 간의 유사도나 차이를 계산하는 데 활용된다. 김 소장은 “임베딩 벡터화는 얼굴의 전체적인 이미지를 컴퓨터가 빠르고 정확하게 인식할 수 있는 좌표로 바꾸는 과정”이라고 설명했다.
생성된 벡터는 특정한 암호키를 이용해 암호화된 형태로 결제사의 서버에 저장된다. 사용자의 얼굴 정보를 숫자로 변환한 벡터를 암호키로 잠그면 누군가가 서버에 접근하더라도 암호키가 없는 사람은 그 내용을 해독할 수 없다는 뜻이다. 이렇게 함으로써 개인의 얼굴 정보가 외부로 유출되거나 변조되는 위험을 최소화함과 더불어 결제 과정에서도 빠르고 안전하게 데이터를 처리할 수 있다.
암호화된 정보는 결제 시 진행되는 ‘실시간 인증’ 단계에서 사용자의 얼굴을 확인할 때 활용된다. 사용자가 매장에서 결제 시 단말기의 카메라가 사용자의 얼굴을 스캔해 결제사의 서버에 저장된 데이터와 대조하는 과정을 거친다. 이때 ‘라이브니스(Liveness)’ 기술이 활용된다. 라이브니스는 얼굴의 위·변조를 방지하고 사진 또는 동영상을 이용한 사용자의 결제 시도를 막는 기술이다.
암호화된 정보를 해제하기 위해서는 ‘복호화’ 단계를 거쳐야 한다. 복호화는 암호화의 반대 과정으로 암호화된 데이터를 다시 읽을 수 있는 형태로 되돌리는 절차다. 이 단계에서는 암호화할 때 사용한 암호키를 이용해 데이터를 해제하고, 복원된 데이터를 실시간으로 인식된 얼굴 데이터와 비교한다. 이렇게 복호화된 정보가 서버에 등록된 얼굴 데이터와 일정 수준 이상의 유사도를 보이면 본인 인증이 완료되고 최종적으로 결제가 승인된다.
편리함에 신뢰를 더하다
페이스페이는 강화된 보안 체계를 적용했다. 결제 과정에서는 라이브니스 기술과 비정상적인 결제 패턴을 실시간으로 감지하는 이상거래탐지시스템(FDS) 등이 작동해 잠재적인 위험을 최소화한다. 김 소장은 “페이스 아이디가 편리한 개인 인증에 초점을 맞췄다면 페이스페이는 신뢰할 수 있는 결제를 위한 보안 강화에 초점을 맞췄다”고 설명했다.
그러나 보안 관리 체계의 제도적 미비에 대한 지적도 이어진다. 개인정보위원회는 페이스페이 운영 사업자들이 고유 식별정보와 안면 인식 정보를 안전하게 관리하고 있는지를 사전적으로 검토하고 있으나 이러한 관리·감독이 법적 의무는 아니기 때문이다. 황진석(동국대학교 국제정보보호대학원 정보보호학과) 교수는 “정부는 얼굴 인식 등 생체 인식 정보 활용과 관련한 법률 조항을 개선하고 제도적 기반을 마련해야 한다”고 제언했다.
전문가들은 페이스페이가 앞으로 더욱 여러 분야로 확대될 것이라 전망했다. 인공지능 기술의 발달로 무인 키오스크, 산업현장의 출입 관리 등에 활용될 수 있기 때문이다. 백영현(유니온바이오메트릭스 AI생체인식연구소) 소장은 “페이스페이는 기술의 발전에 따라 인증 정확도와 신뢰도가 한층 높아지고 있다”며 “향후 비대면 서비스의 확장과 함께 다양한 산업 분야에서 높은 활용이 기대된다”고 강조했다.
김혜윤 기자
