В статье ACL за декабрь 2025 года представлен DharmaBench — бенчмарк для оценки языковых моделей на буддийских текстах на санскрите и классическом тибетском. Авторы описывают 13 задач классификации и распознавания: шесть для санскрита и семь для тибетского, причём четыре типа задач общие для двух языков. Это делает измеримым ограниченный набор филологических и текстовых вопросов, а не превращает буддийские традиции в общий материал для промптов. [1]
Практическая польза — в проверяемости. Открытый репозиторий содержит данные задач, рекомендации по аннотации и код оценки, а выпуск датасета даёт читателю второй путь проверить состав материала. Поэтому опубликованный балл можно читать рядом с определением задачи, примерами и разбиением данных, а не считать необъяснённым вердиктом модели. Авторы также указывают: датасеты выпущены по CC BY 4.0, а код — по Apache-2.0; перед повторным использованием следует проверить применимые условия. [1] [2] [3]
Граница важна. Результат на DharmaBench не показывает, что система понимает буддизм, способна решить текстологический вариант или надёжно переводит во всех контекстах. Он измеряет работу относительно меток и задач, заданных авторами проекта. Бенчмарк помогает исследователям и читателям задавать более точные вопросы о свидетельствах; интерпретация и ответственность остаются человеческой работой. [1] [2]