MITRA-MT: 번역 점수는 불교 문헌 독자에게 무엇을 말해 주는가

구절마다 검토해야 하는 번역 도구

Sebastian Nehrdich와 Kurt Keutzer의 MITRA-MT 논문은 2026년 10월 28~29일로 표기된 WMT 학술대회 논문집에 실렸다. 불교 문헌 언어에 맞게 조정한 90억 매개변수 모델과 17개 번역 방향의 문장 단위 평가를 소개하며, 그중 10개 방향은 문단 단위로도 평가했다. 이 글은 해당 논문에 대한 분석이며 모델이 오늘 출시되었다는 주장이 아니다. 문헌에 실제로 나타나는 단어 대응을 검색하는 MITRA-lexicon과 달리, MITRA-MT는 구절의 번역을 생성한다. ^{[1] [2]}

먼저 어느 말뭉치 버전인지 확인하기

논문은 MITRA-parallel v2를 설명한다. 산스크리트어, 티베트어, 불교 한문 사이의 자동 정렬 레코드 1,693,730개가 구간 쌍 2,338,400개를 나타낸다. 레코드 하나가 여러 구간을 연결할 수 있으므로, 이는 책의 수나 사람이 승인한 번역의 수가 아니다. 10월 31일 확인했을 때 저장소는 이미 v3를 현재 버전으로 표시했으며, 레코드 1,690,655개와 정렬을 점검하고 수정하는 학습된 모델을 설명하고 있었다. 자동 수정은 전문가의 승인이 아니다. v2의 결과를 그대로 v3의 품질에 대한 증거로 바꾸어 부르면 안 된다. ^{[3] [4]}

재현성에는 또 다른 한계가 있다. 연결된 모델 카드는 CPO 학습을 설명하지만 논문 4.3절은 GRPO 체크포인트를 평가한다. 내려받을 수 있는 리비전과 평가된 체크포인트가 정확히 일치하는지는 확인하지 못했다. ^{[2] [5]}

높은 점수는 의미가 정확한 비율이 아니다

산스크리트어에서 티베트어로 번역할 때 저자들은 MITRA-MT의 chrF가 55.0, Qwen3.5-122B가 33.4라고 보고한다. chrF는 참조 번역과의 문자 연속열 중복을 측정한다. 55.0이 의미 정확도 55%를 뜻하지는 않는다. 표 4의 더 작은 비교에서는 평가자로 사용된 두 언어 모델이 전체적으로 상용 시스템을 더 선호했다. 논문은 공개된 v2 정렬 결과에 대한 대표성 있는 인간 검토가 없었다고도 밝힌다. 이는 특정 시험에서 얻은 유망한 결과이지, 모든 불교 구절을 신뢰성 있게 해석한다는 증거가 아니다. 단일 언어 학습 텍스트는 평가 세트와의 중복 제거 대상이 아니었으므로, 완전히 새로운 텍스트에서의 성능은 여전히 불확실하다. ^[2]

논문, 모델 가중치, 텍스트의 조건은 서로 다르다

ACL은 논문에 CC BY 4.0을 표시하고, 번역 모델 카드는 Apache-2.0을 선언한다. 어느 쪽도 모든 원천 텍스트에 같은 이용 허가를 부여하지 않는다. v2 README는 라이선스를 저장소 루트에서 확인하도록 안내하지만, 10월 31일 확인한 루트 README와 v3 README에는 말뭉치 전체의 라이선스가 명시되어 있지 않다. 평가 데이터 README는 각 원출처의 조건을 따르도록 안내하고 Lotsawa House 자료를 CC BY-NC 4.0으로 표시한다. 선택한 파일을 재배포하거나 학습에 사용하기 전에 적용 조건을 확인해야 한다. 공개 접근 가능성만으로 재사용 허가가 확정되지는 않는다. ^{[1] [3] [4] [5] [6]}

큰 말뭉치를 신뢰하기 전 작은 연습

다음과 같은 읽기 연습을 제안한다. 사용할 권한이 있고 원문과 대조할 수 있는 짧은 구절 하나를 고른다. 작품, 판본, 구절 식별자, 말뭉치 버전, 모델 리비전을 기록한다. 원문, 참조 번역, 기계 초안을 나란히 놓는다. 빠진 부정 표현, 불확실한 이름, 누락된 절, 전문 용어를 표시한다. 문장이 유창하다고 해서 이 내용들이 온전히 보존되었다고 볼 수는 없다.

이어서 해당 지식을 갖춘 독자에게 표시한 부분을 문맥 속에서 살펴보도록 요청하고 수정 내용과 이유를 함께 남긴다. 차이는 오류가 아니라 타당한 번역 선택일 수도 있다. 이 연습이 만드는 것은 한 구절에 대한 기록된 검토이며, 모델 전체의 정확도를 산출하지는 못한다. 검토하지 않은 초안에는 계속 그 상태를 표시해야 한다.

편집 작업의 범위

논문과 연결된 문서를 확인했지만 학습이나 벤치마크를 다시 수행하지 않았다. 주제 조사에는 Perplexity Deep Research를 사용했으며, 기사와 13개 언어판 모두를 AI의 도움으로 작성하고 대조했다. 전문가의 언어 검토는 아직 이루어지지 않았다. 필사본 이미지는 역사적 맥락을 제공할 뿐, 해당 장이 학습 데이터에 포함되었다는 증거는 아니다.