보고서

후보자의 몰락: Claude가 HAWK에서 발견한 것

by Simon McCorkindale

7월 28일, Anthropic은 Claude Mythos Preview 모델을 활용해 생성한 두 가지 암호분석 결과를 발표했습니다. 하나는 축소 라운드 AES 변형에 대한 공격을 개선한 것으로, 이론적으로는 흥미롭지만 실용적으로는 무관하며 본 글의 주제가 아닙니다. 다른 하나는 HAWK에 실질적인 문제를 제기합니다. HAWK는 불과 열 주 전에 NIST가 세 번째 라운드 평가로 진출시킨 양자 내성 서명 체계입니다. 이것이 왜 중요한지 이해하려면 NIST 프로세스가 무엇인지, 그리고 HAWK가 그 안에서 어디에 위치하는지를 알아야 합니다.

하나가 아닌 두 개의 프로세스

NIST는 2016년부터 RSA와 타원 곡선 암호를 대체하기 위한 공개 경쟁을 진행해왔습니다. 이미 세 가지 완성된 표준을 도출했으며, 2022년에 개설된 별도의 두 번째 경쟁인 “온램프(on-ramp)”도 순수하게 디지털 서명만을 위해 운영하고 있습니다. 이것이 끝없는 혼란의 원천인데, 사람들이 3라운드 후보에 관한 헤드라인을 읽고 자신이 실제로 운용 중인 무언가와 관련된 것으로 착각하기 때문입니다. 그렇지 않습니다.

주요 프로세스 [1][6]:

날짜주요 이정표
2016년 12월제안서 공모
2017년 12월82건 제출, 69건 1라운드 진출
2019년 1월26건 2라운드 진출
2020년 7월7개 최종 후보 및 8개 대안이 3라운드 진출
2022년 7월Kyber, Dilithium, FALCON, SPHINCS+ 선정; 키 교환 전용 4라운드 개시
2024년 8월FIPS 203, 204, 205 발행
2025년 3월비격자 기반 두 번째 키 교환 알고리즘으로 HQC 선정

실제로 도출된 결과물:

표준 명칭원본용도수학적 계열상태
ML-KEMKyber키 교환구조화 격자최종 확정 — FIPS 203
ML-DSADilithium서명구조화 격자최종 확정 — FIPS 204
SLH-DSASPHINCS+서명해시 함수최종 확정 — FIPS 205
FN-DSAFALCON서명NTRU 격자초안 — FIPS 206, 2026~27년 최종 예정
HQCHQC키 교환오류 수정 코드선정만 완료; 최종 표준 2027년 예정
LMS / XMSS—서명 (상태 기반)해시 함수최종 확정 — SP 800-208, 전문 용도

여기서 두 용어를 구분할 필요가 있습니다. 키 교환 알고리즘은 공식적으로 KEM, 즉 키 캡슐화 메커니즘이라 하며, 두 당사자가 개방된 채널을 통해 공유 비밀에 합의하는 방식입니다. 이는 모든 TLS 연결의 첫 단계이며, 문제의 절박한 절반에 해당합니다. 오늘 캡처된 트래픽은 훗날 키 교환이 무너지면 수년 후에 복호화될 수 있기 때문입니다. 디지털 서명 알고리즘은 무언가를 누가 작성했는지, 그리고 변조되지 않았는지를 증명합니다: 인증서, 코드 서명, 펌웨어가 그 예입니다. 사후에 서명을 위조하는 것은 공격자에게 대체로 무의미하므로, 서명은 더 느리게 연소되는 절반에 해당합니다. 다만 루트 인증서나 펌웨어 신뢰 앵커처럼 수십 년간 유효성이 유지되는 것들은 예외입니다.

온램프가 존재하는 이유는 ML-KEM과 ML-DSA가 모두 구조화 격자 위에 구축되어 있기 때문입니다. 격자 수학이 무너지면 둘 다 함께 붕괴됩니다. NIST는 서로 다른 수학적 토대에 기반한 서명 체계를 원했습니다 [2][3]:

날짜주요 이정표
2022년 9월추가 서명 체계 공모
2023년 6월40건 1라운드 진출
2024년 10월14건 2라운드 진출
2026년 5월 14일9건 3라운드 진출; CROSS, LESS, Mirath, PERK, RYDE 탈락
2026년 8월 14일3라운드 명세 변경 마감
~2028년3라운드 종료

생존한 9개 후보 [4][5]:

후보계열기반
HAWK격자격자 동형 문제(Lattice Isomorphism Problem), 정수 연산만 사용
SQIsign이소제니초특이 타원 곡선 간의 사상; 매우 작은 서명 크기
FAESTMPC-in-the-HeadAES에 관한 명제 증명
MQOMMPC-in-the-Head다변수 이차 문제
SDitHMPC-in-the-Head임의 선형 코드의 신드롬 복호화
UOV다변수고전적 불균형 오일-비니거 구성
MAYO다변수UOV, 더 작은 공개 키를 위해 재구성
QR-UOV다변수홀수 표수 상의 몫환 위 UOV
SNOVA다변수공격적인 키 압축을 적용한 UOV

이 아홉 중 하나가 격자 기반입니다. 바로 HAWK입니다.

HAWK란 무엇이며, 무엇이 잘못되었나

HAWK의 강점은 우아함이었습니다. FIPS 206이 될 체계인 FALCON은 서명 단계에서 상수 시간으로 구현하기 매우 어려운 부동소수점 연산이 필요해 안전하게 구현하기 악명 높습니다. HAWK는 정수만으로 동일한 작업을 수행하고, 서명 속도는 몇 배 빠르며, 서명 크기는 FALCON보다 약 15% 작습니다 [7]. 스마트카드, IoT, 보안 요소와 같이 제약된 하드웨어에서 그 조합은 실질적으로 매력적입니다.

HAWK의 보안은 격자 동형 문제에 기반합니다. HAWK 개인 키는 차원 2n의 격자에 대한 “정돈된” 기저입니다. 여기서 n은 체계의 차수 매개변수로, 실제 매개변수 집합에서는 512 또는 1024입니다. 공개 키는 동일한 격자에 대한 복잡하게 뒤섞인 설명입니다. 개인 키를 복원한다는 것은 복잡한 설명에서 정돈된 설명으로 되돌아가는 길을 찾는 것이며, 그 비용은 n이 커질수록 지수적으로 증가합니다.

Anthropic 연구자는 약 60시간 동안 Mythos Preview와 협력하여, HAWK의 격자에 아무도 활용하지 못했던 대칭성, 즉 자명하지 않은 자기 동형사상이 존재함을 발견했습니다. 이전 연구에서 그러한 대칭성이 존재하면 더 빠른 공격이 가능하다는 것은 밝혀졌으나, HAWK의 특정 격자에 실제로 존재하는지는 미해결 문제로 남아 있었습니다. 실제로 존재했습니다. 이 대칭성을 통해 공격자는 탐색 공간을 절반으로 접어 작업의 약 절반을 건너뛸 수 있습니다. 구체적으로는, 차수 n의 HAWK 격자 공격 비용이 이전에 차수 n/2 격자를 공격하는 데 들던 비용 수준으로 낮아집니다.

수치를 정직하게 읽기

Anthropic의 요약은 이 공격이 “유효 키 크기를 절반으로 줄인다”고 말했고, 보도들도 이를 반복했습니다. 그 표현이 혼란을 일으키고 있으므로 풀어볼 필요가 있습니다.

무언가의 길이가 절반이 되는 것은 없습니다. 암호학자들은 강도를 보안 비트로 표현하며, 이는 크기의 측정이 아닙니다. 어떤 체계가 150비트의 보안을 제공한다고 말하는 것은, 그에 대한 현재 최선의 공격이 약 2^150번의 기본 연산을 필요로 한다는 의미입니다. 키가 몇 바이트를 차지하는지와는 무관합니다. HAWK의 공개 키는 어느 경우에나 약 1킬로바이트입니다.

따라서 수치는 연산 횟수입니다. Anthropic은 HAWK-256에 대해 공격을 종단간으로 실증했으며, 여기서 완전한 키 복구의 예상 비용은 약 2^64회 연산에서 약 2^38회로 감소합니다 [8]. 이는 대략 1,800경에서 약 2,750억으로, “아무도 할 수 없다”에서 적당한 데스크톱으로 수 시간이면 가능한 수준으로 낮아진 것입니다. 다만 HAWK-256은 HAWK 팀이 정확히 이런 목적을 위해 공개한 의도적인 연습용 대상으로, 실제 배포 옵션이 된 적이 없습니다. 실제 매개변수 집합은 훨씬 양호합니다. 논문에 대한 기술적 보도에 따르면 HAWK-512는 2^150에서 2^108으로, HAWK-1024는 2^288에서 2^182로 낮아집니다 [9]. 둘 다 존재하거나 존재할 가능성이 있는 어떤 것으로도 완전히 도달 불가능한 수준으로 남습니다. 공격이 빨라졌지만 여전히 지수적입니다. 이것은 붕괴가 아닙니다.

피해는 치명적이 아니라 상업적입니다. 설계자들이 의도한 보안 마진을 회복하려면 HAWK는 n을 두 배로 늘려야 합니다. 키와 서명 크기는 n에 선형으로 비례하므로, 키와 서명도 두 배가 됩니다. 그런데 간결함이야말로 HAWK를 FALCON 대신 선택할 유일한 이유였습니다. 두 배로 커진 HAWK는 전송이 느리고, 인증서 체인이 커지며, 경쟁 상대인 체계에 뒤처집니다. 구현 단순성이라는 장점은 남아 있고 이는 실질적인 미덕이지만, NIST에 설득력 있게 내세울 근거로는 훨씬 약합니다. 3라운드 명세 변경 마감은 2026년 8월 14일입니다.

시사점

이것은 현재 운영 중인 어떤 시스템에도 영향을 미치지 않습니다. HAWK는 어디에도 배포되어 있지 않으며, 패치도 없고 벤더와 나눌 대화도 없습니다. ML-KEM, ML-DSA, SLH-DSA는 영향받지 않으며, Anthropic은 이 기법이 격자 암호 일반이 아닌 HAWK에 특정한 것임을 명시하고 있습니다.

이것은 또한 설계대로 작동하고 있는 프로세스의 모습이기도 합니다. NIST가 후보 명세를 공개하는 것은 정확히 아무도 배포하기 전에 사람들이 공격하게 하기 위해서입니다. SIKE는 이전 경쟁에서 노트북으로 한 시간 만에 깨졌고, 시스템은 그것을 흡수했습니다. HAWK는 두 라운드와 2년간의 전문가 심사를 통과했는데, 이는 그 심사의 질에 대해 말하는 것이 아니라, 지루함을 느끼지 않는 검토자를 추가하는 것의 가치에 대해 말하는 것입니다.

곱씹을 만한 부분은 경제성입니다. 이 발견에는 60시간과 약 10만 달러의 컴퓨팅 비용이 들었으며, 격자 전문가가 아닌 연구자가 주도했습니다. 검증에는 발견보다 훨씬 더 긴 시간이 걸렸습니다. 모델이 발전함에 따라 이 비율이 유지된다면, 암호분석의 제약 요인은 전문 공격자의 공급이 아니라 전문 검토자의 공급이 될 것입니다. 그리고 “아직 아무것도 발견되지 않았다”는 이유만으로 살아남은 모든 체계는 예상치 못한 두 번째 시선을 받게 됩니다.

마지막까지 버틴다고 상이 주어지는 것은 아닙니다.

Kaysec는 뉴질랜드 기반 양자 기술 기업인 Spinsphere의 양자 내성 보안 전문 조직입니다. 저희는 암호화 인벤토리, HNDL 위험 평가, TLS 구성 감사, PQC 마이그레이션 계획 수립 등을 통해 조직을 지원합니다. 문의하기.

참고문헌

  1. NIST CSRC, Post-Quantum Cryptography Standardization Process, 2026년 6월 16일 업데이트. https://csrc.nist.gov/projects/post-quantum-cryptography/post-quantum-cryptography-standardization
  2. Alagic, G. 외, Status Report on the First Round of the Additional Digital Signature Schemes for the NIST Post-Quantum Cryptography Standardization Process, NIST IR 8528, 2024년 10월. https://csrc.nist.gov/pubs/ir/8528/final
  3. NIST CSRC, Nine Candidates Advance to the Third Round of the Additional Digital Signatures for the PQC Standardization Process, 2026년 5월 14일. https://csrc.nist.gov/News/2026/nist-advances-9-candidates-to-the-3rd-round-of-pqc
  4. Moody, D. 외, Status Report on the Second Round of the Additional Digital Signature Schemes for the NIST Post-Quantum Cryptography Standardization Process, NIST IR 8610, 2026년 5월 14일. https://doi.org/10.6028/NIST.IR.8610
  5. Abdel-Kareem, M., “NIST Advances Nine Post-Quantum Digital Signature Candidates to Third Evaluation Round”, Quantum Computing Report, 2026년 5월 18일. https://quantumcomputingreport.com/nist-advances-nine-post-quantum-digital-signature-candidates-to-third-evaluation-round/
  6. NIST, “NIST Selects HQC as Fifth Algorithm for Post-Quantum Encryption”, 2025년 3월 11일. https://www.nist.gov/news-events/news/2025/03/nist-selects-hqc-fifth-algorithm-post-quantum-encryption
  7. Ducas, L. 외, “Hawk: Module LIP Makes Lattice Signatures Fast, Compact and Simple”, ASIACRYPT 2022.
  8. Anthropic Frontier Red Team, “Discovering cryptographic weaknesses with Claude”, 2026년 7월 28일. https://www.anthropic.com/research/discovering-cryptographic-weaknesses
  9. The Hacker News, “Claude AI Just Cracked a Post-Quantum Test Scheme and Found a Faster 7-Round AES Attack”, 2026년 7월 29일. https://thehackernews.com/2026/07/claude-ai-just-cracked-post-quantum.html