Независима инициатива с нестопанска целВарна, България · Основана през 2026 г.
МАТРЕЯ

Институт за будизъм, наука и изкуствен интелект

Мъдрост · Изследване · Състрадание
В полза навсички живи същества
Български

Превод с помощта на ИИ; приветстваме езикова проверка от специалисти. · Оригинал (EN) · Съобщете за неточност

Изследвания

DharmaBench проверява езикови модели върху будистки текстове, без да нарича резултата разбиране

Бенчмаркът ACL 2025 прави проверими 13 определени задачи на санскрит и класически тибетски, без да автоматизира будистки авторитет.

Editorial illustration of stones and geometric forms arranged around an evaluation lens
Илюстрация. DharmaBench: a task map for evaluating models. Original AI-assisted editorial illustration, not a DharmaBench dataset scan or a claim of religious authority for a model.Matreya editorial team · AI-generated illustration · Original AI-assisted editorial illustration; rights reserved · Източник и оригинал

Статия от ACL през декември 2025 г. представя DharmaBench — бенчмарк за оценяване на езикови модели върху будистки текстове на санскрит и класически тибетски. Авторите описват 13 задачи за класификация и разпознаване: шест за санскрит и седем за тибетски, като четири типа задачи са общи за двата езика. Така се измерва ограничен набор от филологически и текстови въпроси. [1]

Практическата полза е проверимостта. Публичното хранище показва данни за задачите, насоки за анотиране и код за оценяване, а изданието на набора от данни дава втори път читателят да види какво е включено. Затова публикуваният резултат може да се чете до определението на задачата, примерите и разделянето на данните, а не като необяснима присъда на модел. Авторите посочват още, че наборите от данни са издадени под CC BY 4.0, а кодът — под Apache-2.0; преди повторна употреба трябва да се проверят приложимите условия. [1] [2] [3]

Границата е важна. Резултат в DharmaBench не показва, че система разбира будизма, може да реши текстологичен вариант или превежда надеждно във всеки контекст. Той измерва работа спрямо етикети и задачи, определени от авторите; тълкуването и отговорността остават човешка работа. [1] [2]

Източници

  1. Hashiloni et al. — DharmaBench: Evaluating Language Models on Buddhist Texts in Sanskrit and Tibetan (IJCNLP-AACL 2025; DOI 10.18653/v1/2025.ijcnlp-long.114)
  2. Intellexus-DSI — DharmaBench repository: task data, annotation guidance and evaluation code
  3. Intellexus — DharmaBench dataset release