این راهنمای ارزیابی توضیح میدهد چگونه برای RAG برای اسناد فارسی مبنای واقعی بسازید، موارد مرزی را جدا بسنجید، معیار انتشار تعیین کنید و از گمشدن خطاهای مهم زیر یک امتیاز کلی جلوگیری کنید.
خروجی مورد انتظار این راهنما یک خروجی اجرایی واقعی است، نه یک برداشت کلی. در پایان باید بتوانید مرز کار، معیار پذیرش و مسیر بازبینی انسانی را روی کاغذ یا در ابزار تیم ثبت کنید.
این آموزش برای چیست؟
این آموزش برای تیمی است که نمیخواهد درباره RAG برای اسناد فارسی با حس و برداشت تصمیم بگیرد. هدف این است که انتشار، بازگشت و دامنه استقرار با داده روشن و نقشه خطای قابل دفاع انجام شود.
پیشنیازها
- نمونه پاسخ مرجع یا حداقل معیار ارزیابی قابلاجرا
- چند سناریوی مسیر ساده و چند مورد مرزی
- تعریف شدت برای خطاها
- امکان پایش پوشش ارجاع، نرخ پاسخ مستند و نیاز به پیگیری انسانی بعد از انتشار
مرحله 1: مبنا بدون هوش مصنوعی را ثبت کنید
اول ببینید تیم امروز چگونه کار میکند. اگر مبنای انسانی یا فعلی را ندارید، بهبود یا افت بعدی هم معنیدار نخواهد بود.
مرحله 2: مجموعه ارزیابی را از داده واقعی بسازید
مجموعه ارزیابی باید از پرسشها و پروندههای واقعی بیاید. سند قدیمی، نسخه متناقض، PDF اسکنشده و پرسش چندبخشی را بهصورت جداگانه در این مجموعه نگه دارید.
مرحله 3: پذیرش و رد را با شدت خطا تعریف کنید
همه خطاها یکسان نیستند. خطای ارجاع یا نشت قواعد ممکن است از ده جواب خوب هم مهمتر باشد، پس شدت خطا را در قاعده انتشار وارد کنید.
مرحله 4: نتیجه را به طراحی برگردانید
گزارش خوب فقط عدد نمیدهد؛ میگوید مشکل از ورودی، قواعد، بازیابی، پرامپت یا تحویل آمده است تا تیم بداند کجا ترمیم لازم است.
مرحله 5: انتشار را به آستانه دفاعپذیر وصل کنید
برای استقرار محدود، معیار روشن بگذارید. اگر پروندههای پرخطر پاس نمیشوند، میانگین خوب نباید چراغ سبز جعلی بدهد.
سناریوی نمونه
سازمانی که میخواهد از سند و آییننامه پاسخ قابلاستناد بگیرد، نه اینکه مدل فقط حدس بزند.
نمونه ورودی
سؤال کاربر درباره روند مرخصی، نسخههای مختلف آییننامه و این الزام که پاسخ باید بند و تاریخ سند را نشان دهد.
نمونه خروجی
پاسخ همراه با ارجاع، درجه اطمینان، بند مرجع و هشدار اگر سند منبع قدیمی یا مبهم باشد.
محدودیتها و خطاهای رایج
- تکیهکردن به امتیاز کلی و ندیدن خطاهای با شدت بالا
- استفاده از مجموعه ارزیابی تمیز و غیرواقعی
- نداشتن مسیر مشخص برای اینکه نتیجه ارزیابی به فهرست کارهای بعدی طراحی برگردد
نتیجه نهایی
بعد از این راهنما باید یک مبنا، مجموعه ارزیابی و قاعده پذیرش داشته باشید که روی آن انتشار یا محدودسازی RAG برای اسناد فارسی را با خیال جمعتری تصمیم بگیرید.
قدم بعدی
بعد از راهاندازی اولیه، پرسشهای بدون ارجاع و اسناد کمکیفیت را هفتهای یکبار اولویتبندی کنید.
