در دنیایی که مدل‌های زبان بزرگ نقش پررنگی در تولید محتوا و کدنویسی پیدا کرده‌اند، اپل نیز بالاخره با یک مدل منحصربه‌فرد پا به میدان گذاشته است. مدلی که نه‌تنها از نظر ساختار فنی متفاوت عمل می‌کند، بلکه از پایه بر مبنای مفهومی نو طراحی شده تا محدودیت‌های موجود در مدل‌های سنتی را کنار بزند. این مدل جدید که با نام DiffuCode-7B-cpGRPO شناخته می‌شود، ترکیبی از نوآوری در معماری و دقت در خروجی را به نمایش می‌گذارد.
عملکرد متفاوت در مقایسه با مدل های رایج تولید کد
مدل‌های مرسوم مانند GPT و Codex معمولاً از ساختار خودبازگشتی استفاده می‌کنند؛ بدین معنا که پاسخ‌ها را به ترتیب و مرحله‌به‌مرحله تولید می‌کنند. اپل اما با استفاده از روش‌های مبتنی بر انتشار، الگویی کاملاً جدید ارائه داده که به تولید همزمان و غیرترتیبی بخش‌های مختلف کد منجر می‌شود.
- مدل اپل برخلاف روش‌های سنتی، از ساختار خطی تبعیت نمی‌کند.
- DiffuCode-7B-cpGRPO از الگوریتم‌های انتشار بهره می‌برد که مشابه مدل‌های تولید تصویر مانند Stable Diffusion هستند.
- در این رویکرد، خروجی نهایی از یک توزیع نویز آغاز شده و به‌مرور زمان پالایش می‌شود تا به کد معتبر و بهینه تبدیل گردد.
- چنین ساختاری باعث افزایش انعطاف در تولید کد و بهبود انسجام ساختار کلی می‌شود.
جزئیات فنی مدل DiffuCode-7B-cpGRPO
برای توسعه این مدل، اپل از یک مقاله تخصصی به‌نام DiffuCoder الهام گرفته و با معرفی تکنیک‌های اختصاصی، توانسته یک مدل متفاوت و موثر بسازد. این مدل نه‌تنها در تولید کدهای صحیح عملکرد خوبی دارد، بلکه می‌تواند بخش‌های مختلف را به‌صورت مستقل و همزمان اصلاح و تکمیل کند.
- امکان تغییر وضعیت بین تولید ترتیبی و غیرترتیبی با تنظیم «دما» فراهم شده است.
- دمای بالا به مدل اجازه می‌دهد ساختار کد را به‌صورت غیرخطی تولید کند.
- این ویژگی در موقعیت‌هایی مثل تکمیل کد ناقص یا ویرایش همزمان چند بخش مختلف بسیار مفید است.
- مرحله آموزشی خاصی به‌نام coupled-GRPO به مدل افزوده شده تا کیفیت خروجی نهایی افزایش یابد.
پایه گذاری بر یک مدل بنیادین و بازآموزی هدفمند
یکی از نکات جالب این پروژه، انتخاب مدل اولیه‌ای است که اپل برای ساخت DiffuCode-7B-cpGRPO به‌کار گرفته است. برخلاف تصور بسیاری، این مدل از ابتدا توسط اپل ساخته نشده، بلکه بر پایه یک مدل بنیادین متعلق به شرکت علی‌بابا توسعه یافته است.
- مدل اصلی، Qwen2.5-7B نام دارد که به‌صورت متن‌باز در دسترس عموم قرار گرفته است.
- نسخه بهینه‌سازی‌شده آن برای تولید کد با نام Qwen2.5-Coder-7B شناخته می‌شود.
- اپل این مدل را انتخاب کرده، ساختار آن را بازبینی کرده و با داده‌های مخصوص خود بازآموزی کرده است.
- حدود ۲۰ هزار نمونه کد با کیفیت بالا برای آموزش مدل جدید مورد استفاده قرار گرفته‌اند.
دستاوردهای ملموس و عملکرد مدل در بنچمارک ها
مدل DiffuCode-7B-cpGRPO توانسته در آزمون‌های استاندارد تولید کد عملکردی فراتر از انتظار ثبت کند. در حالی‌که مدل‌های زبانی بزرگ مثل GPT-4 همچنان در صدر باقی مانده‌اند، اما عملکرد مدل اپل در همین نسخه اولیه نیز تحسین‌برانگیز بوده است.
- افزایش عملکرد ۴.۴ درصدی در بنچمارک‌های مطرح تولید کد ثبت شده است.
- انسجام ساختار کد و نرخ خطای کمتر از ویژگی‌های برجسته این مدل است.
- در پردازش‌های موازی و اصلاح همزمان چند خط کد، مدل اپل کارایی بالاتری نسبت به ساختارهای سنتی نشان داده است.
- سرعت تولید کد نیز نسبت به مدل‌های خودبازگشتی بیشتر است، چراکه وابستگی توکن به توکن وجود ندارد.
چرا این مدل برای آینده مهم است؟
در سال‌های اخیر، رقابت بین غول‌های فناوری برای ساخت مدل‌های هوش مصنوعی مولد شدت گرفته است. اپل با رویکردی ساکت اما نوآورانه در حال توسعه زیرساخت‌های فنی خود در این زمینه است. اگرچه این مدل هنوز در محصولات تجاری اپل دیده نمی‌شود، اما مسیر روشنی را برای آینده ترسیم می‌کند.
- اپل به‌جای رقابت مستقیم با مدل‌هایی مانند GPT-4، سعی دارد با نوآوری در روش، خود را متمایز کند.
- استفاده از ساختارهای انتشاری در تولید متن، روشی کمتر استفاده‌شده اما بسیار امیدوارکننده است.
- این مدل می‌تواند سنگ‌بنای نسل بعدی ابزارهای برنامه‌نویسی و تکمیل کد در اکوسیستم اپل باشد.
- حتی ممکن است در آینده شاهد ادغام این فناوری در Xcode یا سایر ابزارهای توسعه‌دهنده اپل باشیم.
نتیجه گیری
مدل DiffuCode-7B-cpGRPO نشان می‌دهد که اپل بدون هیاهو، اما با دقت و هوشمندی، در حال ساخت نسل جدیدی از مدل‌های هوش مصنوعی برای کاربردهای حرفه‌ای است. تمرکز بر ساختارهای نو، استفاده از مدل‌های متن‌باز به‌عنوان پایه، و افزودن لایه‌های اختصاصی یادگیری، اپل را به رقیبی بالقوه در حوزه تولید کد با هوش مصنوعی تبدیل کرده است.
گرچه هنوز فاصله‌ای با مدل‌های پیشرفته‌ای مانند GPT-4 و Gemini Diffusion وجود دارد، اما انتخاب مسیر متفاوت نشان می‌دهد که اپل به‌جای تقلید، به‌دنبال خلق آینده‌ای خاص و متناسب با اهداف بلندمدت خود است.