افزایش چشمگیر توانایی مدل‌های زبانی در حل مسائل پیچیده

پیشرفتی نوین در هوش مصنوعی؛ افزایش چشمگیر توانایی مدل‌های زبانی در حل مسائل پیچیده

پژوهشگران مؤسسه فناوری ماساچوست (MIT) موفق به طراحی روشی نوین شده‌اند که می‌تواند عملکرد مدل‌های زبانی بزرگ (LLM) را در مواجهه با مسائل دشوار، مانند برنامه‌ریزی استراتژیک یا بهینه‌سازی فرآیندها، به شکل قابل توجهی افزایش دهد.

مدل‌های زبانی علی‌رغم توانایی بالا در درک و پردازش زبان، معمولاً در انجام وظایف جدید و پیچیده که نیازمند استدلال منطقی هستند، دچار چالش می‌شوند. برای مثال، یک مدل که در خلاصه‌سازی گزارش‌های مالی عملکرد مناسبی دارد، ممکن است در پیش‌بینی روند بازار یا شناسایی تقلب‌های مالی ناکام بماند.

استفاده از آموزش در زمان اجرا برای افزایش دقت

تیم تحقیقاتی MIT با استفاده از روشی به نام «آموزش در زمان اجرا» (Test-Time Training) توانستند دقت مدل را تا شش برابر در وظایف دشوار افزایش دهند. در این روش، بخشی از پارامترهای داخلی مدل در حین استفاده، موقتاً به‌روزرسانی می‌شوند تا مدل بتواند خود را با شرایط جدید تطبیق دهد.

این تکنیک در ترکیب با یادگیری درون‌متنی (In-Context Learning) – که در آن مدل با چند نمونه از مسئله آشنا می‌شود – می‌تواند به مدل‌ها این توانایی را بدهد که با وجود عدم آموزش اولیه در زمینه‌ای خاص، عملکرد بهتری داشته باشند.

گامی به سوی مدل‌های تطبیق‌پذیر و هوشمندتر

به گفته «اکین آکیورک»، دانش‌آموخته دکترای MIT و نویسنده اصلی این پژوهش، مدل‌های زبانی پس از پایان آموزش اولیه دیگر توانایی یادگیری مستقل ندارند. اما اگر آنها را وادار به «یادگیری واقعی» کنیم، می‌توان شاهد جهش‌های چشمگیری در عملکردشان بود.

در این پروژه، با تولید نسخه‌های متنوع‌تری از داده‌های ورودی از طریق تغییرات جزئی (مانند وارونه‌سازی افقی داده‌ها)، تیم پژوهشی موفق شد مجموعه داده‌ای خاص برای آموزش موقت مدل بسازد و از آن برای بهبود عملکرد مدل بهره ببرد. همچنین، با بهره‌گیری از تکنیکی به نام «انطباق با رتبه پایین» (Low-Rank Adaptation)، فقط تعداد محدودی از پارامترها به‌روزرسانی شدند که این امر باعث افزایش سرعت و کارایی روش شد.

کاربردهای گسترده در دنیای واقعی

هرچند این فرایند ممکن است چند دقیقه بیشتر از حالت معمول طول بکشد، اما در مواردی که وظیفه پیش‌رو بسیار پیچیده است، این زمان صرف‌شده ارزشمند خواهد بود. از کاربردهای بالقوه این روش می‌توان به تشخیص بیماری در حوزه پزشکی، مدیریت زنجیره تأمین، تحلیل داده‌های ساختارمند و حل معماهای منطقی اشاره کرد.

این پژوهش در کنفرانس بین‌المللی یادگیری ماشین (ICML) ارائه خواهد شد و می‌تواند پایه‌گذار نسل جدیدی از مدل‌های زبانی باشد که توانایی یادگیری و تطبیق مستمر را دارند.

اخبار هوش مصنوعی را در وبسایت آی لرن دنبال کنید.