2025年12月のACL論文は、サンスクリット語と古典チベット語の仏教文献で言語モデルを評価するDharmaBenchを紹介している。著者らは分類と検出の13課題を説明し、サンスクリット語に6件、チベット語に7件、二言語で共通する課題類型を4件含める。これは範囲を定めた文献学的・テキスト上の問いを測定可能にする試みである。 [1]
実用上の利点は検証可能性にある。公開リポジトリには課題データ、アノテーション指針、評価コードがあり、データセット公開は何が含まれるかを調べる別の入口になる。報告されたスコアは課題定義、例、データ分割と並べて読むことができる。著者らは、データセットを CC BY 4.0、コードを Apache-2.0 で公開したと述べており、再利用前には適用条件を確認する必要がある。 [1] [2] [3]
境界は重要である。DharmaBenchの結果は、システムが仏教を理解したこと、文献の異同を決定できること、あらゆる文脈で信頼できる翻訳を行うことを示さない。解釈と責任は人の仕事として残る。 [1] [2]