1. 先界定任务，再选择模型
查找引文、比较译本与向初学者介绍传统，是不同任务，需要不同数据和判准。宽泛承诺打造“佛教人工智能”，会隐藏区别，并鼓励在人们尚未定义成功之前投入基础设施。
Matreya 可首先试点：回答关于获授权语料库的有限问题，并指出支持段落。成功意味着在有记录的条件下，错误引用更少。有时正确结果应是拒绝回答，因为必要材料缺失。这是研究提案：语料许可、独立问题与合格审查者仍须落实，实验才能支持主张。
2. 检索为生成增添什么
刘易斯与同事提出检索增强生成（RAG）形式，将生成与访问外部文档集合结合。[1] 实际区别在于寻找材料与组织答案。索引可独立于模型参数记录和更新，但检索到材料并不保证忠实使用。
面向读者的工具可以展示简答、支持段落与上下文来源，也应报告检索失败。评估必须检查完整路径：是否找到正确文档、是否选中正确段落，以及结论是否随之成立。单纯改善文风，可能掩盖链条前段的失败。架构名称不是可靠性证书。
- 01问题→
- 02检索来源→
- 03附来源的回答→
- 04人工审查
Matreya 编辑图示：用于说明方法，并非实验结果。
3. 真实参考文献仍可能误导
模型可能引用确实存在的出版物，却把其中没有的主张归给它；可能忽略否定词，或把谨慎建议改写成确定结论。面对佛教文献，还可能混淆注释与经典，或把某宗派立场说成各传统共识。
ALCE 将事实正确性与引文质量作为不同评估事项。[2] 我们提议检查三层关系：来源存在；所引段落包含相关证据；主张未超出证据范围。回答可以明显区分来源内容、改写与解释。链接应让读者检查相应版本和译本。文本不同之处，界面应保留差异，而非将其平均成表面一致。
4. 建立可能失败的评估
有用的测试集可以包括直接的来源问题、译本比较、前提错误的问题，以及语料库无法回答的问题。后两类可揭示系统是否在应拒答时编造信息。
预期答案应独立于被测模型准备。一位审查者拟题，另一位核实参考依据。分歧须记录，部分题目应保留至最终评估。比较有无检索的条件，需要相同问题、模型版本记录与清楚的资源预算。报告应同时展示失败类别与平均数。混淆传统与拼错译者姓名是不同问题；将其等同，会增加改进难度。
5. 给读者可以定位的段落
链接到整本书，将大部分核查工作转给读者。LongCite 研究长上下文问答中的细粒度引文。[3] 这里的方法论启示是：读者需要足够精确的位置，才能不重做整个检索就核查主张。
地址可以是稳定的片段标识、写本叶的正反面，或卷数与页码，不应依赖当前检索结果顺序。上下文也必须可获取：相邻句子可能显示某立场属于作者随后批评的论敌。将文档切成方便检索的小块，可能破坏这些关系。因此，评估除软件工程外，还需要语文学与传统方面的专长。
6. 索引同样使用他人的材料
阅读、复制、显示摘录与向外部服务传送摘录，是不同用途。BDRC 的访问政策说明，不能假定典藏中的所有项目共享同一种无限开放状态。[4]
在制作原型之前，我们建议为每个集合记录获许可的操作：来源、版本、存储与显示条件、删除途径及责任联系人。将段落发给模型供应商，是另一项需要考虑的操作。联合国教科文组织的人工智能伦理建议，为讨论问责和文化多样性提供参照。[5] 它并不认证本项目。实际责任意味着让真实的数据流易于理解且能够纠正，而不是依赖善意声明。
7. 审查者需要有边界的责任
主要基于英文译本的系统，可能承袭其中的解释选择。数字化更充分的传统可能主导检索。要求模型“中立”，无法修复缺失或不均衡的数据；需要记录集合的构成与局限。
志愿者可核查一小组引用，或识别文类混淆；不应被赋予保证一切佛教内容普遍正确的无边界职责。勘误需要流程、责任人，以及把重要变化告知读者的途径。检索助手不应声称有权评估精神证量，或代表传统给予个人教导。其范围应遵循实际已评估的任务，并体现在界面的日常行为中。
8. 小结果也可以有用
微调应针对已识别的失败。若真正障碍是文字识别不佳、名称缺失或元数据不全，进一步训练模型未必解决问题。文档良好的适度检索工具，可能提供更多价值与更清楚的研究证据。
Matreya 拟议的问题是：在特定任务集上，经过核实的段落能否提高引文准确性？答案可能肯定、否定，或取决于题型。方法与局限公开时，每种结果都有用。在一个集合上改善，不能确立对全部佛教文献都可靠。来源可找到、错误可纠正、系统能承认未答问题时，信任才会增长；流畅与规模本身不能确立智慧。
要点
- 检索增强生成将检索与生成分开，但不保证回答忠实。
- 逐项核查引文是否存在、位置是否精确，以及与主张有何证据关系。
- 可行的试点应包括无法回答的问题与错误前提，而不只是容易成功的题目。
来源与延伸阅读
链接指向原始论文、文献或机构官方网站。不同材料的获取与再利用条件可能不同。
- Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksLewis et al. / arXiv, 2020
检索增强生成架构的原始论文，其结果不能自动推广至佛教文献。
- Enabling Large Language Models to Generate Text with CitationsGao et al. / EMNLP, 2023
ALCE 基准及评估带引文回答的论文。
- LongCite: Enabling LLMs to Generate Fine-grained Citations in Long-context QAZhang et al. / arXiv, 2024
长上下文问答中的细粒度引文，不能证明我们未来工具可靠。
- Access PoliciesBuddhist Digital Resource Center
访问条件有所区别的例子。
- Recommendation on the Ethics of Artificial IntelligenceUNESCO, 2021
关于问责、权利和文化多样性的规范性参照。
