후보자의 실각: Claude가 HAWK에서 발견한 것
7월 28일, Anthropic은 Claude Mythos Preview 모델을 활용해 생성한 두 건의 암호 분석 결과를 발표했다. 하나는 AES의 축소 라운드 변형에 대한 공격을 개선한 것으로, 이론적으로는 흥미롭지만 실용적으로는 무의미하며 본 글의 주제가 아니다. 나머지 하나는 HAWK에 대한 실질적인 문제로, HAWK는 불과 열 주 전에 NIST가 3차 평가 라운드로 진출시킨 양자 내성 서명 방식이다. 이것이 왜 중요한지 이해하려면, NIST 프로세스가 무엇이며 HAWK가 그 안에서 어디에 위치하는지 알아두는 것이 도움이 된다.
두 개의 프로세스, 하나가 아니다
NIST는 2016년부터 RSA와 타원 곡선 암호를 대체하기 위한 공개 경쟁을 진행해 왔다. 이 과정에서 세 개의 완성된 표준이 만들어졌다. 또한 NIST는 2022년에 시작된 별도의 두 번째 경쟁, 즉 디지털 서명만을 위한 “온-램프(on-ramp)”를 운영하고 있는데, 이것이 끝없는 혼란의 원인이 된다. 사람들이 3라운드 후보에 관한 헤드라인을 읽고 자신들이 실제로 운용 중일 수 있는 무언가와 관련된 것이라고 착각하기 때문이다. 그렇지 않다.
주요 프로세스 [1][6]:
| 날짜 | 주요 일정 |
|---|---|
| 2016년 12월 | 제안 요청 |
| 2017년 12월 | 82건 제출, 69건이 1라운드 진출 |
| 2019년 1월 | 26건이 2라운드 진출 |
| 2020년 7월 | 7개 최종 후보와 8개 대안이 3라운드 진출 |
| 2022년 7월 | Kyber, Dilithium, FALCON, SPHINCS+ 선정; 키 교환 전용 4라운드 개시 |
| 2024년 8월 | FIPS 203, 204, 205 발행 |
| 2025년 3월 | HQC가 두 번째 비격자(non-lattice) 키 교환 알고리즘으로 선정 |
실제로 도출된 결과:
| 표준 명칭 | 원본 | 용도 | 수학 계열 | 상태 |
|---|---|---|---|---|
| ML-KEM | Kyber | 키 교환 | 구조화 격자 | 최종 — FIPS 203 |
| ML-DSA | Dilithium | 서명 | 구조화 격자 | 최종 — FIPS 204 |
| SLH-DSA | SPHINCS+ | 서명 | 해시 함수 | 최종 — FIPS 205 |
| FN-DSA | FALCON | 서명 | NTRU 격자 | 초안 — FIPS 206, 2026~27년 최종 예정 |
| HQC | HQC | 키 교환 | 오류 정정 코드 | 선정만 완료; 최종 표준은 2027년 예정 |
| LMS / XMSS | — | 서명 (상태 기반) | 해시 함수 | 최종 — SP 800-208, 전문 용도 |
여기서 두 용어를 구분할 필요가 있다. 키 교환 알고리즘은 공식적으로 KEM, 즉 키 캡슐화 메커니즘이라 하며, 두 당사자가 개방된 채널을 통해 공유 비밀을 합의하는 방식으로, 모든 TLS 연결의 첫 단계를 이룬다. 이것이 문제의 시급한 절반인데, 오늘 캡처된 트래픽이 키 교환이 무너지면 수년 후에 복호화될 수 있기 때문이다. 디지털 서명 알고리즘은 작성자가 누구인지, 그리고 내용이 변조되지 않았음을 증명한다: 인증서, 코드 서명, 펌웨어가 그 예다. 사후에 서명을 위조하는 것은 공격자에게 대개 무의미하므로, 서명은 수십 년에 걸쳐 유효성이 지속되는 루트 인증서나 펌웨어 신뢰 앵커처럼 수명이 긴 것들을 예외로 하고는 느리게 타오르는 절반에 해당한다.
온-램프는 ML-KEM과 ML-DSA가 모두 구조화 격자 위에 구축되어 있기 때문에 만들어졌다. 격자 수학이 붕괴된다면 둘 다 함께 무너진다. NIST는 서로 다른 기반 위에 놓인 서명 방식을 원했다 [2][3]:
| 날짜 | 주요 일정 |
|---|---|
| 2022년 9월 | 추가 서명 방식 제안 요청 |
| 2023년 6월 | 40건이 1라운드 진출 |
| 2024년 10월 | 14건이 2라운드 진출 |
| 2026년 5월 14일 | 9건이 3라운드 진출; CROSS, LESS, Mirath, PERK, RYDE 탈락 |
| 2026년 8월 14일 | 3라운드 사양 변경 마감 |
| ~2028년 | 3라운드 종료 |
생존한 9개 후보 [4][5]:
| 후보 | 계열 | 기반 |
|---|---|---|
| HAWK | 격자 | 격자 동형 문제(Lattice Isomorphism Problem), 정수 연산만 사용 |
| SQIsign | 등위원(Isogeny) | 초특이 타원 곡선 간의 사상; 극히 작은 서명 크기 |
| FAEST | MPC-in-the-Head | AES에 관한 명제 증명 |
| MQOM | MPC-in-the-Head | 다변수 이차 문제 |
| SDitH | MPC-in-the-Head | 임의 선형 코드의 신드롬 복호화 |
| UOV | 다변수 | 고전적 불균형 오일-식초(Unbalanced Oil and Vinegar) 구조 |
| MAYO | 다변수 | UOV, 더 작은 공개 키를 위해 재구성 |
| QR-UOV | 다변수 | 홀수 특성의 몫환 위의 UOV |
| SNOVA | 다변수 | 적극적인 키 압축을 적용한 UOV |
그 아홉 중 하나가 격자 기반이다. 바로 HAWK다.
HAWK란 무엇이며, 무엇이 문제였나
HAWK의 강점은 우아함이었다. FIPS 206이 될 FALCON은 서명 단계에서 상수 시간으로 구현하기 매우 어려운 부동소수점 연산이 필요하기 때문에 안전하게 구현하기로 악명 높다. HAWK는 정수만을 사용해 동일한 역할을 수행하며, 서명 속도는 수 배 빠르고 서명 크기는 FALCON보다 약 15% 작다 [7]. 스마트카드, IoT, 보안 요소 같은 제한된 하드웨어에서 이 조합은 진정으로 매력적이다.
HAWK의 보안은 격자 동형 문제에 기반한다. HAWK 개인 키는 차원 2n의 격자에 대한 “좋은” 기저로, 여기서 n은 방식의 차수 매개변수로 실제 매개변수 집합에서는 512 또는 1024다. 공개 키는 동일한 격자에 대한 지저분하고 뒤섞인 서술이다. 개인 키를 복원한다는 것은 지저분한 서술에서 깔끔한 서술로 되돌아가는 길을 찾는다는 의미이며, 그 비용은 n에 따라 지수적으로 증가한다.
Anthropic의 연구자가 Mythos Preview와 약 60시간 동안 작업하면서, HAWK의 격자에 아무도 활용하지 못했던 대칭성, 즉 자명하지 않은 자기동형사상이 존재한다는 사실을 발견했다. 이전 연구에서는 그러한 대칭성이 존재한다면 더 빠른 공격을 가능케 할 것임을 보였지만, HAWK의 특정 격자에 그것이 실제로 존재하는지는 미해결 상태였다. 존재한다. 이 대칭성을 이용하면 공격자가 탐색 공간을 스스로 반으로 접어 대략 절반의 작업을 건너뛸 수 있으며, 구체적으로는 차수 n의 HAWK 격자를 공격하는 비용이 이제 이전에 차수 n/2 격자를 공격하는 비용과 비슷해진다.
수치를 정직하게 읽기
Anthropic의 요약문은 이 공격이 “실효 키 크기를 절반으로 줄인다”고 밝혔고, 보도들은 이를 반복했다. 이 표현이 혼란을 야기했으므로 풀어서 설명할 필요가 있다.
어떤 것의 길이가 절반이 되는 것은 없다. 암호학자들은 강도를 보안 비트 수로 표현하는데, 이는 크기의 측정이 아니다. 어떤 방식이 150비트의 보안을 제공한다는 말은, 그에 대해 알려진 최선의 공격이 약 2^150번의 기본 연산을 필요로 한다는 뜻이다. 키가 몇 바이트인지와는 무관하다 — HAWK의 공개 키는 어느 쪽이든 약 1킬로바이트다.
따라서 수치는 연산 횟수다. Anthropic은 HAWK-256에 대한 공격을 끝까지 시연했는데, 완전한 키 복원의 예상 비용이 약 2^64회 연산에서 약 2^38회로 떨어진다 [8]. 이는 대략 1.8경(京)에서 약 2,750억으로 — “아무도 그렇게 하지 않는다”에서 그럴듯한 데스크톱으로 몇 시간이면 가능한 수준으로 낮아진 것이다. 그러나 HAWK-256은 HAWK 팀이 바로 이런 목적으로 공개한 의도적인 연습 대상이며, 애초에 실제 배포 옵션이 아니었다. 실제 매개변수 집합은 훨씬 양호하다. 논문에 대한 기술적 보도에 따르면 HAWK-512는 2^150에서 2^108로, HAWK-1024는 2^288에서 2^182로 낮아진다 [9]. 둘 다 현재 존재하거나 존재할 가능성이 있는 어떤 것으로도 완전히 닿을 수 없는 수준이다. 공격은 더 빠르지만 여전히 지수적이며 — 완전한 해독이 아니다.
피해는 재앙적이지 않고 상업적이다. 설계자들이 의도한 보안 마진을 회복하려면 HAWK는 n을 두 배로 늘려야 한다. 키와 서명 크기는 n에 선형 비례하므로 키와 서명도 두 배가 된다 — 그리고 FALCON에 비해 HAWK를 선택하는 전체 논거는 소형성이었다. 두 배가 된 HAWK는 전송이 느리고, 인증서 체인에서 크기가 커지며, 경쟁 상대였던 방식에 뒤처진다. 구현 단순성은 유지되는데 이것은 실질적인 장점이지만, NIST에 내세울 근거로는 훨씬 빈약하다. 3라운드 사양 변경 마감은 2026년 8월 14일이다.
이것에서 무엇을 얻을 것인가
이 내용은 여러분이 운영하는 시스템과 무관하다. HAWK는 어디에도 배포되어 있지 않으며, 패치도 없고 벤더와 나눌 대화도 없다. ML-KEM, ML-DSA, SLH-DSA는 영향을 받지 않으며, Anthropic은 이 기법이 격자 암호 일반이 아닌 HAWK에 특정한 것임을 명시하고 있다.
이것은 또한 설계대로 작동하는 프로세스이기도 하다. NIST가 후보 사양을 공개 발표하는 것은 바로 누군가 배포하기 전에 공격해 보라는 뜻이다. 이전 경쟁에서는 SIKE가 노트북으로 한 시간 만에 깨졌고, 시스템은 이를 흡수했다. HAWK는 두 라운드와 2년간의 전문가 심사를 통과했는데, 이는 그 심사의 질보다는 지루함을 모르는 검토자를 추가하는 것의 가치를 말해준다.
곱씹어볼 부분은 경제성이다. 이 발견은 격자 전문가가 아닌 연구자가 주도하여 60시간과 약 10만 달러의 컴퓨팅 비용으로 이루어졌다. 검증은 발견보다 훨씬 오래 걸렸다. 모델이 발전함에 따라 이 비율이 유지된다면, 암호 분석의 제약은 전문 공격자의 공급이 아니라 전문 검토자의 공급이 되며 — “아직 아무것도 발견되지 않았다”는 근거로 살아남아 온 모든 방식이 예상치 못한 재심사를 받게 된다.
마지막까지 버틴다고 상이 주어지는 것이 아니다.
Kaysec는 뉴질랜드 기반 양자 기술 기업인 Spinsphere의 양자 내성 보안 전문 부문입니다. 저희는 조직의 암호화 인벤토리, HNDL 위험 평가, TLS 구성 감사, PQC 마이그레이션 계획을 지원합니다. 문의하기.
참고 문헌
- NIST CSRC, Post-Quantum Cryptography Standardization Process, 2026년 6월 16일 업데이트. https://csrc.nist.gov/projects/post-quantum-cryptography/post-quantum-cryptography-standardization
- Alagic, G. 외, Status Report on the First Round of the Additional Digital Signature Schemes for the NIST Post-Quantum Cryptography Standardization Process, NIST IR 8528, 2024년 10월. https://csrc.nist.gov/pubs/ir/8528/final
- NIST CSRC, Nine Candidates Advance to the Third Round of the Additional Digital Signatures for the PQC Standardization Process, 2026년 5월 14일. https://csrc.nist.gov/News/2026/nist-advances-9-candidates-to-the-3rd-round-of-pqc
- Moody, D. 외, Status Report on the Second Round of the Additional Digital Signature Schemes for the NIST Post-Quantum Cryptography Standardization Process, NIST IR 8610, 2026년 5월 14일. https://doi.org/10.6028/NIST.IR.8610
- Abdel-Kareem, M., “NIST, 양자 내성 전자서명 후보 9개를 3차 평가 라운드로 진출시키다”, Quantum Computing Report, 2026년 5월 18일. https://quantumcomputingreport.com/nist-advances-nine-post-quantum-digital-signature-candidates-to-third-evaluation-round/
- NIST, “NIST, 양자 내성 암호화를 위한 다섯 번째 알고리즘으로 HQC 선정”, 2025년 3월 11일. https://www.nist.gov/news-events/news/2025/03/nist-selects-hqc-fifth-algorithm-post-quantum-encryption
- Ducas, L. 외, “Hawk: Module LIP Makes Lattice Signatures Fast, Compact and Simple”, ASIACRYPT 2022.
- Anthropic Frontier Red Team, “Claude를 활용한 암호화 취약점 발견”, 2026년 7월 28일. https://www.anthropic.com/research/discovering-cryptographic-weaknesses
- The Hacker News, “Claude AI, 양자 내성 테스트 체계 해독 및 7라운드 AES 공격 고속화 방법 발견”, 2026년 7월 29일. https://thehackernews.com/2026/07/claude-ai-just-cracked-post-quantum.html