TL;DR
- مشاهده PDF HTML (تجربی) چکیده:.
- هنگام استقرار مدلهای زبان بزرگ (LLM) برای برنامههای کاربردی حیاتی،.
- تعیین کمیت عدم قطعیت (UQ) برای ارزیابی قابلیت اطمینان تصمیمات مبتنی بر LLM از اهمیت بالایی برخوردار است.
چه اتفاقی افتاد
مشاهده PDF HTML (تجربی) چکیده:. هنگام استقرار مدلهای زبان بزرگ (LLM) برای برنامههای کاربردی حیاتی،.
تعیین کمیت عدم قطعیت (UQ) برای ارزیابی قابلیت اطمینان تصمیمات مبتنی بر LLM از اهمیت بالایی برخوردار است. با این حال،.
چنین تصمیماتی معمولاً از اعتماد بیش از حد رنج می برند،. به ویژه پس از تنظیم دقیق پارامتر کارآمد (PEFT) برای وظایف خاص دامنه پایین دستی با داده های.
محدود. روشهای موجود برای کاهش این مشکل یا به چارچوب پستکنیک مبتنی بر تقریب لاپلاس متکی هستند،.
که ممکن است بسته به مسیر آموزشی کالیبراسیون پایینتر از بهینه را به همراه داشته باشد،. یا آموزش بیزی متغیری که نیاز به چندین گذر کامل رو به جلو از کل ستون فقرات LLM.
در زمان استنتاج برای تخمین مونت کارلو دارد،. که چالشهای مقیاسپذیری را برای استقرار ایجاد میکند.
برای پرداختن به این محدودیتها،. ما بر اساس مدل آخرین لایه بیزی (BLL) میسازیم که در آن مدل مبتنی بر LLM استخراج کننده.
ویژگی قطعی با پارامترهای تصادفی لایه آخر برای استدلال عدم قطعیت دنبال می شود. از آنجایی که آداپتورهای رده پایین (LoRA) موجود برای PEFT به دلیل فروپاشی رتبه،.
بیان محدودی دارند،. ما این موضوع را با نمایش آداپتور کم رتبه تجزیه شده قطبی (PoLAR)،.
یک پارامتر متعامد همراه با بهینهسازی ریمانی برای فعال کردن سازگاری پایدارتر و گویاتر بررسی میکنیم. بر اساس این مدل PoLAR-BLL،.
ما از چارچوب استنتاج متغیر (V) برای ارائه یک رویکرد تنظیم دقیق بیزی مقیاسپذیر استفاده میکنیم که به. طور مشترک به دنبال پارامترهای PoLAR و تقریبی پارامترهای لایه آخر از طریق بهینهسازی متناوب است.
PoLAR-VBLL به دست آمده یک چارچوب انعطافپذیر است که بهخوبی بهینهسازی معماری پیشرفته را با استنتاج بیزی مقیاسپذیر. ادغام میکند تا به LLMها با UQ کالیبرهشده خوبی ارائه دهد.
نتایج تجربی ما اثربخشی را تأیید می کند PoLAR-VBLL از نظر تعمیم و برآورد عدم قطعیت در هر. دو داده در توزیع و خارج از توزیع برای وظایف مختلف استدلال عقل سلیم.
موضوعات:. یادگیری ماشین (cs.LG)؛
یادگیری ماشینی (stat.ML) استناد به عنوان:. arXiv:.
2604.03388 [cs.LG] (یا arXiv:. 2604.03388v1 [cs.LG] برای این نسخه) https:.
//doi.org/10.48550/arXiv.2604.03388 DOI صادر شده توسط arXiv از طریق DataCite تاریخچه ارسال از:. Haotian Xiang [مشاهده ایمیل] [v1] جمعه،.
3 آوریل 2026،. 18:.
42:. 04 UTC (356 KB).
چرا مهم است
اهمیت این خبر در این است که روی استفاده واقعی از AI و تصمیمگیری سازمانی اثر میگذارد.
منبع
لینک منبع اصلی در کارت و صفحه مقاله نمایش داده میشود.