به گزارش تابش کوثر، چهار پژوهشگر ایرانی در همکاری با تیمی بین‌المللی در مقاله‌ای علمی به بررسی دقیق توانایی‌ها و ناتوانی‌های مدل‌های استدلال‌محور پرداخته‌اند. این مقاله با تمرکز بر رفتار این مدل‌ها در مواجهه با پیچیدگی‌های ترکیبی، تصویری دقیق از محدودیت‌های اساسی آن‌ها ارائه می‌دهد.
در مقاله‌ای با عنوان «توهم تفکر: درک توانایی‌ها و محدودیت‌های مدل‌های استدلال از منظر پیچیدگی مسئله» که با مشارکت پارشین شجاعی، ایمان میرزاده، کیوان علیزاده و مهرداد فرج‌تبار به نگارش درآمده است، عملکرد مدل‌های زبانی پیشرفته که با هدف تولید مسیرهای استدلالی طراحی شده‌اند، مورد ارزیابی قرار گرفته است.
این تحقیق که در وبسایت شرکت «اپل» منتشر شده است، نشان می‌دهد که مدل‌های استدلال‌محور (LRMها) اگرچه در وظایف با پیچیدگی متوسط عملکرد بهتری نسبت به مدل‌های استاندارد دارند، اما در مواجهه با وظایف با پیچیدگی بالا دچار فروپاشی کامل عملکرد می‌شوند. این مدل‌ها با افزایش سطح دشواری مسئله، ابتدا تلاش استدلالی خود را افزایش می‌دهند، اما پس از رسیدن به آستانه‌ای مشخص، میزان این تلاش کاهش می‌یابد؛ حتی در شرایطی که منابع محاسباتی کافی در اختیار دارند.
پژوهشگران در ادامه با استفاده از محیط‌های پازل کنترل‌شده، روند تفکر درونی مدل‌ها را بررسی کرده‌اند. آن‌ها دریافته‌اند که این مدل‌ها در به‌کارگیری الگوریتم‌های دقیق دچار کاستی هستند و استدلال‌های ناهماهنگ و متناقض در مواجهه با مسائل مشابه از خود نشان می‌دهند.
بر اساس یافته‌ها، عملکرد مدل‌ها در سه محدوده طبقه‌بندی شده است:
۱. وظایف ساده که در آن‌ها مدل‌های استاندارد بهتر عمل می‌کنند،
۲. وظایف با پیچیدگی متوسط که مدل‌های استدلال‌محور برتری نسبی دارند،
۳. وظایف با پیچیدگی بالا که در آن هر دو نوع مدل شکست می‌خورند.
این پژوهش با همکاری پژوهشگران دیگر از جمله «مکسول هورتون» و «سمی بنگیو» انجام شد. پارشین شجاعی این تحقیق را در دوره کارآموزی خود در شرکت اپل انجام داده است.
نتایج این مقاله با زیر سوال بردن برداشت رایج از «تفکر» در مدل‌های زبانی بزرگ، چالش‌های جدی در مسیر توسعه هوش مصنوعی مبتنی بر استدلال را مطرح می‌کند.
م/۱۱۰*
نظر شما