AI가 내 목소리를 3초 만에 복제한다 — 딥보이스 피싱의 실체

엄마한테 전화가 온다. 아들 목소리다. 울먹이면서 “엄마, 나 사고 났어. 돈 좀 보내줘.” 억양, 말투, 숨 쉬는 패턴까지 완벽하다.

근데 그 목소리는 아들이 아니다. AI가 만든 거다.

2023년 부산에서 실제로 벌어진 일이다. 60대 여성이 “딸이 잡혀갔다”는 전화를 받았고, 딸 목소리를 100% 믿고 2천만 원을 송금했다. 그 목소리는 AI 딥보이스 — 딸의 음성을 복제해서 만든 합성음이었다.

AI는 목소리를 얼마나 빨리 복제하는가

ElevenLabs 같은 상용 음성 복제 서비스는 약 30초 분량의 깨끗한 음성이면 목소리를 복제한다. 말투, 억양, 감정 톤, 숨 쉬는 패턴까지.

연구 단계에서는 더 극단적이다. Microsoft의 VALL-E는 3초 분량의 음성만으로 화자의 감정과 억양까지 보존한 음성 복제를 시연했다(2023년 논문). “여보세요?” 한 마디면 충분하다는 뜻이다.

음성 샘플은 어디서 오는가? 유튜브 영상, 인스타 릴스, 틱톡, 전화 통화 녹음 — 공개된 음성이 조금이라도 있으면 복제 재료가 된다. 보이스피싱 조직이 모르는 번호로 전화를 걸어 “여보세요”를 유도하는 것도 같은 이유다.

Fortune지는 2025년 12월 기사에서 “2026년은 딥페이크 음성이 사람의 귀로 구별 불가능한 임계점(indistinguishable threshold)을 넘는 해”라고 평가했다.

한국은 지금 얼마나 당하고 있나

숫자부터 보겠다.

2024년 한국 보이스피싱 피해액은 9,525억 원 — 2023년(4,616억 원)의 두 배를 넘겼다. 2025년에는 사상 처음으로 1조 원을 돌파해 1조 2,578억 원이 피해액으로 집계됐다.

AI 딥보이스가 이 급증의 전부는 아니다. 하지만 구조가 바뀌고 있다. 과거 보이스피싱은 어눌한 한국어, 뻣뻣한 말투가 필터 역할을 했다. 이제 AI가 그 필터를 없앴다. 완벽한 한국어, 실제 가족의 음색, 감정까지 복제된 음성 — 전화기 너머로는 구별이 안 된다.

피해 연령도 바뀌고 있다. “보이스피싱은 노인들만 당하는 거”라는 인식과 달리, 20대 이하 피해 금액은 2021년 52억 원에서 2023년 231억 원으로 4배 넘게 급증했다.

딥보이스 피싱은 어떻게 작동하는가

전형적인 시나리오를 단계별로 보겠다.

1단계 — 음성 수집. 타깃의 가족이나 지인의 공개된 음성을 확보한다. SNS 영상, 유튜브, 또는 직접 전화를 걸어 “여보세요” 한 마디를 녹음한다.

2단계 — 음성 복제. 수집한 음성을 AI 음성 복제 도구에 넣는다. 30초면 고품질, 3초면 기본 복제가 된다. 비용은 거의 0에 가깝다 — 상용 서비스 월 구독료가 만 원대다.

3단계 — 시나리오 실행. 복제된 목소리로 전화를 건다. “교통사고 났어”, “경찰서에 잡혀 있어”, “지금 당장 돈이 필요해” — 공포와 긴급성을 동시에 밀어넣는다. 패닉 상태에서 사람은 검증 절차를 건너뛴다.

4단계 — 송금 유도. “전화 끊지 마, 지금 바로 보내야 해.” 통화를 유지하면서 직접 확인할 시간을 주지 않는다.

이 구조에서 핵심은 3단계다. 목소리가 진짜처럼 들리면, 나머지 시나리오를 의심할 이유가 사라진다.

누가 얼마나 조심해야 하는가

🟢 일반 사용자 — 가족 암호 하나면 된다(아래 참고). 대부분의 딥보이스 피싱은 “긴급 상황 + 즉시 송금”이라는 뻔한 구조를 쓴다. 암호를 물어보는 습관 하나만 있으면 무력화된다.

🟡 민감한 상황 (회사 임원, 금융 담당자) — 2024년 홍콩에서 영국계 다국적 기업 재무 담당자가 딥페이크 화상회의에 속아 2,500만 달러(약 340억 원)를 송금한 사건이 있었다. 임원 사칭 송금 요청은 반드시 별도 채널(직접 전화, 대면)로 확인해야 한다.

🔴 OPSEC 필요 (기자, 활동가, 내부고발자) — 타겟형 딥보이스 공격은 사전에 음성뿐 아니라 대화 패턴, 인간관계까지 분석해서 들어온다. 이 수준에서는 모든 민감한 요청을 암호화된 메신저로만 처리하고, 전화 기반 인증 자체를 신뢰하면 안 된다.

가족 암호 — 가장 단순하고 가장 확실한 방어

기술적으로 복잡한 솔루션은 필요 없다. 가족끼리 암호(safe word) 하나만 정하면 된다.

설정 방법:

1. 오프라인에서 직접 정한다. 카톡, 문자, 메일로 보내면 유출 가능성이 있다. 가족이 모인 자리에서 입으로 말하라.
2. 외부인이 추론할 수 없는 것으로 정한다. 생일, 반려동물 이름, 주소 — 이런 건 SNS에서 알아낼 수 있다. “작년 추석에 할머니 집에서 있었던 그 사건” 같은 가족만 아는 에피소드 기반이 좋다.
3. 주기적으로 바꾼다. 6개월에 한 번 정도.

사용 시나리오:

가족이라고 주장하는 사람에게서 “긴급” 전화가 오면 — “우리 암호가 뭐야?”라고 묻는다. 모르면 끊는다. 암호를 맞추더라도 불안하면, 전화를 끊고 해당 가족에게 직접 전화를 걸어 확인한다.

이게 된다면 — 대부분의 딥보이스 피싱은 여기서 무력화된다.

AI 음성과 실제 음성, 구별할 수 있나?

솔직하게 말하면 — 2026년 기준으로 귀로는 사실상 불가능하다.

SK텔레콤, KT 등 통신사가 AI 기반 보이스피싱 탐지 시스템을 개발하고 있고, 일부는 실시간 통화 분석 기능을 테스트 중이다. 하지만 아직 모든 통화에 적용되는 단계는 아니다.

개인이 지금 당장 쓸 수 있는 현실적 방어는 기술이 아니라 절차다. “음성을 믿지 않고, 암호를 확인하고, 직접 전화를 건다” — 이 세 단계가 기술보다 확실하다.

이미 당했다면 — 즉시 할 일

1. 은행 고객센터에 전화 — 지급정지 요청. 송금 후 30분 이내가 골든타임이다.
2. 경찰청 182 또는 금융감독원 1332 신고 — 동시에 진행한다.
3. 통화 녹음 보존 — 수사 증거로 쓰인다. 삭제하지 마라.
4. 가족에게 알리기 — 같은 조직이 다른 가족에게도 연락할 수 있다.

정리

AI 음성 복제 기술은 3초 분량의 “여보세요”만으로 목소리를 복제할 수 있는 수준까지 왔다. 비용은 거의 0이고, 진입장벽도 없다. 한국 보이스피싱 피해액은 2025년 1조 2,578억 원으로 사상 최고치를 기록했고, AI가 그 속도를 가속하고 있다.

하지만 방어는 생각보다 단순하다. 가족 암호 하나, “전화 끊고 직접 확인” 습관 하나 — 이 두 가지가 수천만 원짜리 피해를 막는다.

오늘 가족끼리 암호를 정하라. 저녁 식사 자리에서 30초면 된다.