서울대학교 공과대학은 전기정보공학부 이병영 교수 연구팀이 영국의 반도체 설계 기업 ARM 계열 CPU에 내장된 MTE (메모리 태깅 확장) 기능의 보안 취약점을 발견했다고 밝혔다.

서울대 전기정보공학부 시스템 및 소프트웨어 보안 연구실과 삼성 리서치 연구진이 공동으로 진행한 이번 연구의 성과는 지난 9일 미국 라스베이거스에서 열린 글로벌 사이버 보안 컨퍼런스 ‘블랙햇 USA 2024’에서 ‘Bypassing ARM’s Memory Tagging Extension with a Side-Channel Attack’이라는 제목의 논문으로 발표된 바 있다. 해당 논문은 지난 7월 논문 사전 공개 사이트인 아카이브(arXiv)에 게재됐으며, 심층적인 컴퓨터 및 프로그래밍 교육 콘텐츠로 정평이 난 해외 유튜브 채널 ‘로우 레벨 러닝(Low Level Learning)’에서 해당 논문을 다룬 영상이 현재 50만 회 이상의 높은 조회수를 기록하는 등 업계의 주목을 받고 있다.

구글의 픽셀8(Pixel 8)과 픽셀8 프로(Pixel 8 Pro) 등 다수의 안드로이드 기반 스마트폰에 하드웨어 보안용으로 탑재된 MTE 기능은 지난 2018년 ARM이 도입한 기술이다. 메모리 안전 위반을 감지하고 메모리 결함을 악용하는 버그의 공격으로부터 장치를 방어하는 기능인 만큼, 스마트폰의 보안 유지에서 중요한 역할을 맡고 있다.

연구진은 MTE가 스펙터(Spetre), 멜트다운(Meltdown) 등 기존 수법과 유사한 ‘예측 실행 공격(Speculative execution attack)’에 취약하다는 점을 발견했다. 예측 실행 공격이란 CPU가 속도를 높이기 위해 프로그램 경로를 예측해 미리 작업을 수행하는 예측 실행 기법을 악용하는 공격법이다. 달리 말하면, 프로그램이 다른 경로를 택할 경우 그 예측 결과는 자동으로 제거되는데 이 과정에서 노출되는 보안 취약점을 이용해 공격하는 방식이다.

이어서 연구진은 MTE의 보안 탐지를 우회할 수 있는 기술을 발견하고 이를 활용해 특정 메모리 주소의 MTE 태그를 95% 이상의 높은 확률로 4초 이내에 추출함으로써 안드로이드 커널의 취약점을 증명했다. 크롬 브라우저와 리눅스 커널을 보호하는 MTE의 보안성이 이처럼 훼손될 경우 해당 시스템이 해킹에 노출될 위험성이 커지는 것이다.

연구 과정을 책임진 이병영 교수는 “대개 안드로이드 기반 스마트폰에는 크롬 브라우저와 리눅스 커널이 탑재돼 있으므로, 스마트폰 메모리 보안과 직결되는 MTE의 보안 취약성 문제를 해결할 솔루션이 반드시 필요한 시점”이라며 “ARM이 연구진의 발견을 인정하며 개발자 노트에 이를 언급했을 뿐 아니라, 구글 안드로이드 보안팀도 연구진에게 버그 바운티를 제공하며 픽셀8 기기의 보안 취약성 문제를 조속히 해결하기로 했다는 점에서 이번 연구의 성과를 고무적으로 평가한다”고 말했다.

한편 서울대 시스템 및 소프트웨어 보안 연구실의 일원으로서 이번 연구에 참여한 전기정보공학부 소속 대학원생들의 향후 진로와 남다른 이력도 학계의 눈길을 끌고 있다.

논문의 제1저자 김주희 학생은 ARM MTE 공격 및 방어에 관한 다양한 연구를 수행하고 있다. 특히 이번 연구 과정에서는 크롬, 안드로이드, 리눅스 커널을 담당하는 구글 엔지니어들과 적극적으로 소통하면서 검증된 연구 결과를 구글과 공유하는 역할을 맡았다.

공동저자 정재영 학생은 서울대 해킹동아리 가디언의 회장으로서 학부생들의 보안 및 해킹 관련 활동을 이끌어왔다. 지난 9일부터 11일까지 미국 라스베가스에서 열렸던 ‘데프콘 국제해킹대회(DEFCON CTF 32)’의 본선에 진출하는 성과를 거뒀다.

공동저자 이영주 학생은 정규 대학을 거치지 않고, 학점은행제를 통해 학사학위를 취득한 뒤 서울대 전기정보공학부 대학원에 입학한 특수한 사례의 주인공이다. 고등학생 때부터 뛰어난 해킹 실력을 발휘해 유명 오픈소스들의 취약점을 제보하고, 데프콘 대회 본선에 여러 번 진출해 온 바 있다. 또한 올 상반기에는 미국 노스웨스턴 대학(NorthWestern University)의 신위 싱(Xinyu Xing) 교수 연구실에서 방문 연구를 진행했으며, 올해 미국 국방부가 개최하는 ‘AI 사이버 챌린지(AI Cyber Challenge, AIxCC)’ 준결승전에 참가팀의 일원으로 참여할 예정이다.

출처 : 서울대학교 공과대학