2025 ခုနှစ် ဒီဇင်ဘာ ACL စာတမ်းတစ်စောင်က သင်္သကရိုက်နှင့် ရှေးတိဘက်ဘာသာ ဗုဒ္ဓဘာသာစာပေအပေါ် ဘာသာစကားမော်ဒယ်များကို အကဲဖြတ်ရန် DharmaBench ကို မိတ်ဆက်ထားသည်။ စာရေးသူများက အမျိုးအစားခွဲခြားခြင်းနှင့် ဖော်ထုတ်ခြင်းလုပ်ငန်း 13 ခုကို ဖော်ပြပြီး သင်္သကရိုက်အတွက် 6 ခု၊ တိဘက်အတွက် 7 ခု၊ ဘာသာနှစ်ခုလုံးတွင် မျှဝေသော လုပ်ငန်းအမျိုးအစား 4 ခုပါဝင်သည်။ [1]
လက်တွေ့အကျိုးကျေးဇူးမှာ စစ်ဆေးနိုင်ခြင်းဖြစ်သည်။ အများသုံး repository တွင် လုပ်ငန်းဒေတာ၊ annotation လမ်းညွှန်နှင့် အကဲဖြတ်ကုဒ် ပါရှိပြီး dataset ထုတ်ဝေမှုက ဘာတွေပါဝင်သည်ကို ကြည့်ရန် အခြားလမ်းတစ်ခု ပေးသည်။ ထို့ကြောင့် ထုတ်ပြန်ထားသော အမှတ်ကို လုပ်ငန်းအဓိပ္ပာယ်ဖွင့်ဆိုချက်၊ ဥပမာများနှင့် data split တို့နှင့် တွဲဖတ်နိုင်သည်။ စာရေးသူများက dataset ကို CC BY 4.0 အောက်တွင်၊ code ကို Apache-2.0 အောက်တွင် ထုတ်ဝေထားသည်ဟုလည်း ဖော်ပြပြီး ပြန်လည်အသုံးပြုမီ သက်ဆိုင်ရာစည်းကမ်းများကို စစ်ဆေးရန် လိုသည်။ [1] [2] [3]
DharmaBench ရလဒ်သည် စနစ်တစ်ခုက ဗုဒ္ဓဘာသာကို နားလည်ကြောင်း၊ စာသားကွဲပြားမှုကို ဆုံးဖြတ်နိုင်ကြောင်း၊ သို့မဟုတ် အခြေအနေတိုင်းတွင် ယုံကြည်ရသော ဘာသာပြန်ကို ထုတ်ပေးကြောင်း မပြပါ။ အဓိပ္ပာယ်ဖွင့်ဆိုမှုနှင့် တာဝန်ခံမှုသည် လူ၏အလုပ်အဖြစ် ကျန်ရှိနေသည်။ [1] [2]