양자 시뮬레이션의 벤치마킹과 정확성 검증 방법

2019년 10월, 구글이 시커모어 프로세서로 "양자 우월성"을 달성했다고 발표했을 때 가장 먼저 나온 질문은 "정말인지 어떻게 증명하나"였다. 53큐비트짜리 칩이 200초 만에 풀었다는 무작위 회로 표집 문제를, 당시 세계 최고 슈퍼컴퓨터 서밋으로는 1만 년이 걸린다고 구글은 주장했다. IBM은 곧바로 반박 논문을 내고 적절한 디스크 활용과 알고리즘 최적화를 하면 2.5일이면 충분하다고 계산했다. 이 논쟁 자체가 양자 시뮬레이션 벤치마킹이라는 분야의 핵심을 보여준다 — 결과가 맞는지 확인할 방법이 마땅치 않은 영역에서 신뢰를 어떻게 만드느냐는 문제다.

양자컴퓨터의 골치 아픈 지점은, 큐비트 수가 늘어날수록 그 상태를 고전 컴퓨터로 검증하기가 기하급수적으로 어려워진다는 것이다. 50큐비트의 순수 상태를 완전히 기술하려면 2^50, 약 1000조 개의 복소수 진폭이 필요하다. 그러니 "이 답이 맞다"를 확인하려는 순간 애초에 양자컴퓨터를 쓴 이유가 사라진다. 그래서 연구자들은 직접 정답을 확인하는 대신 간접적인 증거를 쌓는 방법을 발전시켰다.

가장 널리 쓰이는 도구가 무작위 벤치마킹(randomized benchmarking, RB)이다. 2005년 이매뉴얼 노프와 조지프 에머슨이 제안한 이 방법은, 무작위로 고른 게이트를 잔뜩 실행한 뒤 마지막에 원래 상태로 되돌리는 게이트를 붙여서, 이론상 100% 확률로 초기 상태가 나와야 하는 실험을 반복한다. 실제 성공률이 이론치에서 벗어나는 정도를 측정하면 게이트당 평균 오류율을 뽑아낼 수 있다. IBM, 구글, IonQ 같은 회사들이 자사 칩의 "게이트 충실도 99.9%" 같은 수치를 발표할 때 대개 이 방법이 깔려 있다.

교차 엔트로피 벤치마킹(cross-entropy benchmarking, XEB)은 구글이 시커모어 실험에서 실제로 사용한 방법이다. 무작위 양자 회로를 여러 번 반복 실행해 얻은 출력 분포를 이론적으로 예측되는 분포와 비교하는 방식인데, 여기서 나온 지표가 이른바 선형 XEB 정확도다. 문제는 이 지표 해석을 둘러싸고 학계가 갈렸다는 점이다. 2022년 중국 과학기술대 연구팀은 텐서 네트워크 축약 기법으로 시커모어 결과를 15시간 만에 재현했다고 발표했고, 이후에도 여러 그룹이 고전 알고리즘 개선으로 "우월성 격차"를 계속 좁혀왔다. 즉 벤치마크 수치 자체는 견고해도, 그 수치가 "고전으로는 불가능"을 의미하는지는 계속 움직이는 목표물이다.

또 다른 축은 양자 볼륨(quantum volume)이다. IBM이 2017년 제안한 이 지표는 큐비트 수만 세는 대신, 실제로 오류 없이 실행 가능한 회로의 폭과 깊이를 함께 고려한 종합 점수다. 2020년 IBM 27큐비트 칩이 양자 볼륨 64를 기록했고, 2022년에는 IonQ가 트랩 이온 방식으로 양자 볼륨 4백만 이상을 주장하며 논쟁을 낳기도 했다. 측정 방법론이 하드웨어마다 미묘하게 달라서 회사 간 수치를 그대로 비교하기 어렵다는 비판이 꾸준히 나온다.

정확성 검증 쪽에서는 양자 상태 단층촬영(state tomography)과 게이트 세트 단층촬영(gate set tomography, GST)이 좀 더 엄밀한 도구로 쓰인다. 다만 이 방법들은 큐비트 수가 늘면 필요한 측정 횟수가 지수적으로 폭증해 5~7큐비트를 넘으면 사실상 비현실적이다. 그래서 최근에는 섀도 단층촬영(classical shadows, 2020년 화이트 등이 제안)처럼 측정 횟수를 다항식 규모로 줄이는 기법이 주목받고 있다. NIST와 여러 대학 연구소가 이 방법을 표준화하려는 초기 논의를 진행 중이다.

결국 이 분야가 마주한 근본 딜레마는, 검증 도구 자체가 발전할수록 "양자 우월성"의 기준선도 함께 움직인다는 점이다. 고전 알고리즘과 하드웨어가 개선되면 어제의 우월성 주장은 오늘의 평범한 계산으로 밀려난다. 그래서 요즘 학계에서는 "우월성 달성"이라는 일회성 선언보다, 실용적 오류 정정과 반복 가능한 벤치마크 스위트를 함께 보고하는 쪽으로 관행이 옮겨가고 있다.