独立、非商业倡议保加利亚瓦尔纳 · 创立于2026年
MATREYA

佛教、科学与人工智能研究院

智慧 · 探究 · 慈悲
为了利益一切众生
简体中文

人工智能辅助翻译;欢迎语言专家审校。 · 原文(EN) · 报告不准确之处

研究

DharmaBench 测试佛教文本上的语言模型,但不把分数称作“理解”

ACL 2025 的基准将梵文与古典藏文中的 13 项明确任务变得可检验,并不自动化佛教权威。

Editorial illustration of stones and geometric forms arranged around an evaluation lens
图版. DharmaBench: a task map for evaluating models. Original AI-assisted editorial illustration, not a DharmaBench dataset scan or a claim of religious authority for a model.Matreya editorial team · AI-generated illustration · Original AI-assisted editorial illustration; rights reserved · 来源与原作

一篇发表于 2025 年 12 月 ACL 的论文介绍了 DharmaBench:它用于评估语言模型处理梵文和古典藏文佛教文本的能力。作者描述了 13 项分类与识别任务:梵文六项、藏文 7 项,其中四类任务在两种语言中共有。它让一组边界清楚的文献与文本问题能够被测量,而不是把佛教传统变成泛化的提示词材料。 [1]

实际价值在于可核查性。公开代码库提供任务数据、标注说明和评估代码,数据集发布也让读者能够从另一条路径查看包含了什么。因此,读者可以把报告的分数与任务定义、示例和数据划分一起阅读,而不是把它当作模型给出的无法解释的裁决。作者还说明:数据集依 CC BY 4.0 发布,代码依 Apache-2.0 发布;再利用前仍应核对适用条款。 [1] [2] [3]

边界同样重要。DharmaBench 上的结果并不证明系统理解佛教、能够裁定文献异文,或能在所有语境中可靠翻译。它衡量的是模型相对于项目作者定义的标签和任务的表现;解释与责任仍是人的工作。 [1] [2]

来源

  1. Hashiloni et al. — DharmaBench: Evaluating Language Models on Buddhist Texts in Sanskrit and Tibetan (IJCNLP-AACL 2025; DOI 10.18653/v1/2025.ijcnlp-long.114)
  2. Intellexus-DSI — DharmaBench repository: task data, annotation guidance and evaluation code
  3. Intellexus — DharmaBench dataset release