این comparison guide نشان میدهد small language modelها برای مسیریابی اولیه درخواستها چه وقت بهصرفه و کافیاند و در چه شرایطی باید تصمیم را به router یا LLM بزرگتر واگذار کرد.
مسئله routing این است که در لحظه تصمیم بگیرید هر درخواست را کدام مدل یا کدام مسیر باید پاسخ دهد. اگر خود router گران و کند باشد، بخشی از بودجه inference را از بین میبرد.
گزینه اول
SLM خودمیزبان برای طبقهبندی کوتاه، sub-second routing و سناریوهای با marginal cost نزدیک به صفر انتخاب خوبی است.
- taxonony درخواستها پایدار و قابلتعریف است
- متن ورودی کوتاه است و ambiguity شدید ندارد
- privacy، governance یا هزینه عملیاتی اجازه self-hosting را ارزشمند میکند
گزینه دوم
Router مبتنی بر LLM بزرگ یا policy پیچیده برای مسئلههای مبهم، چندمرحلهای یا پرریسک مناسبتر است؛ جایی که هزینه تصمیم اشتباه از هزینه inference بیشتر است.
- درخواستها چندقصدی یا domain boundary آنها مبهم است
- باید constraints حقوقی، ایمنی یا customer tier همزمان دیده شود
- routing itself بخشی از reasoning پیچیدهتر سیستم است
trade-offهای عملی
- SLM latency و cost را عالی میکند، اما تحمل ambiguity کمتری دارد.
- Router بزرگتر قدرت تمایز بیشتری دارد، اما بودجه و زمان پاسخ را بالا میبرد.
- بهترین الگو معمولاً two-stage routing است: SLM برای fast path و escalation برای caseهای نامطمئن.
اشتباه رایج در انتخاب
بزرگترین اشتباه این است که تصمیم معماری را فقط بر اساس جذابیت demo یا محبوبیت یک الگو بگیرید. در عمل، باید ببینید کدام گزینه هم با محدودیتهای latency و cost شما میخواند و هم امکان نظارت و اصلاح تدریجی را حفظ میکند.
سناریوی تصمیم
در یک درگاه ورودی پشتیبانی، SLM میتواند بیشتر درخواستها را بهسرعت بین billing، technical support و sales route کند و فقط caseهای پیچیده را به مسیر بعدی بفرستد.
جمعبندی اجرایی
اگر قرار است از این الگو در محصول یا تیم خود استفاده کنید، از یک دامنه محدود و قابلاندازهگیری شروع کنید. برای routing اولیه، همیشه به مدل بزرگ نیاز ندارید. SLM وقتی taxonomy پایدار و latency مهم است مزیت جدی دارد. تفاوت بین محتوای خوب و سیستم قابلاتکا دقیقاً در همین فاصله است: اینکه ایده از سطح خلاصه یا demo عبور کند و به تصمیم عملیاتی قابلردیابی برسد.
قدم بعدی
threshold عدمقطعیت router را روشن کنید و نرخ escalation، cost saved و error severity را کنار هم بسنجید؛ فقط accuracy routing کافی نیست.