2025년 12월 ACL 논문은 산스크리트어와 고전 티베트어 불교 문헌에서 언어 모델을 평가하는 DharmaBench를 소개한다. 저자들은 분류와 탐지의 13개 과제를 설명한다. 산스크리트어 과제는 6개, 티베트어 과제는 7개이며, 과제 유형 4개는 두 언어에 공통이다. [1]
실용적 이점은 검증 가능성이다. 공개 저장소는 과제 데이터, 주석 지침, 평가 코드를 제공하고 데이터셋 공개는 무엇이 포함됐는지 살펴볼 두 번째 경로를 제공한다. 따라서 보고된 점수는 과제 정의, 예시, 데이터 분할과 함께 읽을 수 있다. 저자들은 데이터셋은 CC BY 4.0, 코드는 Apache-2.0으로 공개했다고도 밝히며, 재사용 전에는 적용 조건을 확인해야 한다. [1] [2] [3]
DharmaBench의 결과가 시스템이 불교를 이해한다는 것, 문헌의 이문을 결정할 수 있다는 것, 모든 맥락에서 신뢰할 만하게 번역한다는 것을 보이지는 않는다. 해석과 책임은 여전히 인간의 일이다. [1] [2]