این راهنمای ارزیابی توضیح میدهد چگونه برای بهبود کیفیت بازیابی و رتبهبندی مبنای واقعی بسازید، موارد مرزی را جدا بسنجید، معیار انتشار تعیین کنید و از گمشدن خطاهای مهم زیر یک امتیاز کلی جلوگیری کنید.
خروجی مورد انتظار این راهنما یک خروجی اجرایی واقعی است، نه یک برداشت کلی. در پایان باید بتوانید مرز کار، معیار پذیرش و مسیر بازبینی انسانی را روی کاغذ یا در ابزار تیم ثبت کنید.
این آموزش برای چیست؟
این آموزش برای تیمی است که نمیخواهد درباره بهبود کیفیت بازیابی و رتبهبندی با حس و برداشت تصمیم بگیرد. هدف این است که انتشار، بازگشت و دامنه استقرار با داده روشن و نقشه خطای قابل دفاع انجام شود.
پیشنیازها
- نمونه پاسخ مرجع یا حداقل معیار ارزیابی قابلاجرا
- چند سناریوی مسیر ساده و چند مورد مرزی
- تعریف شدت برای خطاها
- امکان پایش نرخ بازیابی در top-3، دقت قطعههای بازیابیشده و نرخ ارجاع غلط بعد از انتشار
مرحله 1: مبنا بدون هوش مصنوعی را ثبت کنید
اول ببینید تیم امروز چگونه کار میکند. اگر مبنای انسانی یا فعلی را ندارید، بهبود یا افت بعدی هم معنیدار نخواهد بود.
مرحله 2: مجموعه ارزیابی را از داده واقعی بسازید
مجموعه ارزیابی باید از پرسشها و پروندههای واقعی بیاید. عبارت مبهم، مترادفهای دامنهای، اسناد نزدیکبههم و پرسش چندمنظوره را بهصورت جداگانه در این مجموعه نگه دارید.
مرحله 3: پذیرش و رد را با شدت خطا تعریف کنید
همه خطاها یکسان نیستند. خطای ارجاع یا نشت قواعد ممکن است از ده جواب خوب هم مهمتر باشد، پس شدت خطا را در قاعده انتشار وارد کنید.
مرحله 4: نتیجه را به طراحی برگردانید
گزارش خوب فقط عدد نمیدهد؛ میگوید مشکل از ورودی، قواعد، بازیابی، پرامپت یا تحویل آمده است تا تیم بداند کجا ترمیم لازم است.
مرحله 5: انتشار را به آستانه دفاعپذیر وصل کنید
برای استقرار محدود، معیار روشن بگذارید. اگر پروندههای پرخطر پاس نمیشوند، میانگین خوب نباید چراغ سبز جعلی بدهد.
سناریوی نمونه
گروهی که RAG دارد اما هنوز بازیابی اشتباه، قطعه نادرست یا رتبهبندی نامناسب کیفیت پاسخ را خراب میکند.
نمونه ورودی
پرسش کاربر درباره قرارداد تامین، بازنویسی پیشنهادی پرسش، فراداده سند و قطعههای اولیه بازیابیشده.
نمونه خروجی
فهرست قطعههای رتبهبندیشده با دلیل انتخاب، امتیاز و توضیح اینکه کدام گزینه حذف شد.
محدودیتها و خطاهای رایج
- تکیهکردن به امتیاز کلی و ندیدن خطاهای با شدت بالا
- استفاده از مجموعه ارزیابی تمیز و غیرواقعی
- نداشتن مسیر مشخص برای اینکه نتیجه ارزیابی به فهرست کارهای بعدی طراحی برگردد
نتیجه نهایی
بعد از این راهنما باید یک مبنا، مجموعه ارزیابی و قاعده پذیرش داشته باشید که روی آن انتشار یا محدودسازی بهبود کیفیت بازیابی و رتبهبندی را با خیال جمعتری تصمیم بگیرید.
قدم بعدی
برای هر پرسش پرتکرار که پاس نمیشود، خطا را به یکی از دستههای بازنویسی پرسش، فراداده، قطعهبندی یا رتبهبندی نسبت دهید.