TL;DR
- v2 نوع اعلام:.
- جایگزین چکیده:.
- آموزش LLMها در گرههای غیرمتمرکز یا نمونههای در محل،.
چه اتفاقی افتاد
v2 نوع اعلام:. جایگزین چکیده:.
آموزش LLMها در گرههای غیرمتمرکز یا نمونههای در محل،. هزینه آموزش را کاهش میدهد و دموکراسیسازی مدل را امکانپذیر میسازد.
چالش اجتنابناپذیر در اینجا،. انقباضات گذرا گرهها به دلیل خرابی و سیاستهای زمانبندی اپراتور است که منجر به از دست دادن بخشهایی.
از مدل (برخی لایهها) میشود. روشهای مرسوم برای بازیابی از خرابیها یا استفاده از نقطه بازرسی است،.
که در آن به صورت دورهای یک کپی از کل مدل به یک ذخیرهسازی اضافی ارسال میشود،. یا محاسبات اضافی.
این رویکردها حتی در موارد بدون خطا،. ارتباطات و/یا سربار محاسبات قابل توجهی را به همراه دارند و در تنظیمات با مدلهای بزرگ مقیاس ضعیفی.
دارند. در این مقاله ما CheckFree را پیشنهاد میکنیم،.
یک روش بازیابی کارآمد که در آن یک مرحله شکست با میانگین وزنی نزدیکترین مراحل همسایه جایگزین میشود. بر خلاف وضعیت هنر،.
CheckFree نیاز دارد بدون محاسبات یا ذخیره سازی اضافی با این حال،. به دلیل ماهیت میانگین گیری مراحل همسایه،.
فقط میتواند خرابیهای مراحل میانی را بازیابی کند. ما روش خود را بیشتر به CheckFree+ با اجرای خط لوله خارج از دستور برای تحمل خرابیهای.
مرحله اول و آخر گسترش میدهیم. به لطف خط لوله خارج از نظم،.
رفتار مراحل اول و آخر توسط مراحل همسایه تقلید میشود که به CheckFree+ اجازه میدهد تا. با کپی کردن مراحل همسایه آنها را بازیابی کند.
برای بازیابی لایههای تعبیهشده،. CheckFree+ آن لایهها را در مراحل مجاور کپی میکند،.
که نیاز به سربار ذخیرهسازی نسبتاً کمیدارد. ما بهطور گسترده روش خود را بر روی مدلهای LLaMa با اندازه مدل از 124M تا 1.
5B با فرکانسهای مختلف خرابی ارزیابی میکنیم. در مورد میزان خرابی کم و متوسط (5-10%)،.
CheckFree و CheckFree+ از نظر همگرایی از هر دو نقطه بازرسی و محاسبات اضافی برتری دارند. زمان ساعت دیواری، دستیابی به 12 ٪ بهبود نسبت به محاسبات اضافی.
هر دو پیشنهاد ما میتوانند از طریق کد موجود در آدرس زیر اجرا شوند: https: //github. com/gensyn-ai/CheckFree.
چرا مهم است
اهمیت این خبر در این است که روی استفاده واقعی از AI و تصمیمگیری سازمانی اثر میگذارد.
منبع
لینک منبع اصلی در کارت و صفحه مقاله نمایش داده میشود.