llama.cpp امکان اجرای مدل‌های زبانی بزرگ چندوجهی را روی طیف گسترده‌ای از سخت‌افزارها فراهم می‌کند؛ از ماشین‌های محلی ردهٔ مصرف‌کننده تا سرورهای سازمانی سطح بالا. ما با کوانتیزه‌سازی، بک‌اندهای بهینه‌شده و پیاده‌سازی قابل‌حملی به زبان C/C++، استنتاج هوش مصنوعی را در همهٔ لایه‌های پشتهٔ نرم‌افزاری در دسترس قرار می‌دهیم. ما بر این باوریم که این سبک‌ترین، همه‌کاره‌ترین و منطقی‌ترین بستر برای ساخت محصولات هوش مصنوعی چندسکویی و خصوصی است.

در ۳.۵ سالی که از آغاز این پروژه گذشته است، پروژه بسیار رشد کرده و بسیاری از برنامه‌های پایین‌دستی هم‌اکنون به کار ما وابسته‌اند. انتظار داریم این روند ادامه یابد، چون هوش مصنوعی محلی و حفظ حریم خصوصی هر روز در زندگی روزمرهٔ ما مهم‌تر می‌شوند. هر یکپارچه‌سازی تازه یعنی شمار بیشتری از توسعه‌دهندگان به رابط‌های کتابخانهٔ ما وابسته می‌شوند؛ از این رو داشتن رابط برنامه‌نویسی کاربردی (API) انعطاف‌پذیر اما پایدار، اهمیتی حیاتی دارد.

امروز کتابخانه‌های نسخهٔ ۱.۰.۰ را منتشر می‌کنیم و این انتشار، مسئولیت ما در قبال این توسعه‌دهندگان را برجسته می‌کند. از این پس، llama.cpp و ggml هر دو ناسازگاری‌های رابط برنامه‌نویسی کاربردی (API) و رابط دودویی برنامه‌نویسی کاربردی (ABI) را با افزایش شمارهٔ نسخهٔ اصلی (major) نشان می‌دهند. با گسترش پذیرش، در آشکار کردن این مرزها برای مصرف‌کنندگان پایین‌دستی سخت‌گیرتر خواهیم بود.

انتشارها

انتشار | کتابخانه | هدر(های) عمومی

llama.cpp نسخهٔ ۱.۰.۰ - استنتاج مدل زبانی بزرگ به زبان C/C++ | libllama | llama.cpp/include/

ggml نسخهٔ ۱.۰.۰ - کتابخانهٔ تنسور برای یادگیری ماشین | libggml | ggml/include/

قواعد به‌روزرسانی نسخه‌گذاری معنایی

قواعد زیر برای همهٔ پروژه‌های ggml-org که از نسخه‌گذاری معنایی استفاده می‌کنند اعمال می‌شود:

نوع تغییر | افزایش نسخه

MAJOR | تغییر ناسازگار در API عمومی C در مسیر ./include

MINOR | ویژگی سازگار با نسخه‌های پیشین، به‌روزرسانی بک‌اند، پشتیبانی از مدل یا افزودن API

PATCH | رفع باگ بدون تغییر در API

توزیع

ما در نظر داریم راه‌های توزیع نرم‌افزارهای ggml-org و رساندن آن‌ها به توسعه‌دهندگان و کاربران نهایی را گسترش دهیم. برای اطلاعات بیشتر دربارهٔ نحوهٔ افزودن پروژه‌های ggml-org به بسته‌بندی و خطوط لولهٔ انتشار خود، این بحث را ببینید.

کانال | پلتفرم‌ها

نسخه‌های پیش‌انتشار | Linux، macOS، Windows، Android، iOS

Docker | Linux

Debian | Linux

Homebrew | macOS، Linux

conda-forge | Windows، macOS، Linux

MacPorts | macOS

Winget | Windows

XCFramework | iOS، macOS

توسعه

این پروژه جامعه‌ای چشمگیر از مشارکت‌کنندگان بسیار ماهر و مستعد در حوزهٔ نرم‌افزار متن‌باز پرورش داده است. با پیشرفت سریع توانایی‌های هوش مصنوعی در حوزهٔ مهندسی نرم‌افزار، ما همچنان مدل‌های زبانی بزرگ را به‌شکلی سنجیده و منطقی با چرخهٔ توسعهٔ خود تطبیق می‌دهیم و در آن ادغام می‌کنیم. حفظ کیفیت بالای پایگاه کد، در کنترل ماندن معماری و درک جزئیات پیاده‌سازی، همچنان از اولویت‌های اصلی ما خواهد بود.

برای پشتیبانی از سرعت فزایندهٔ توسعه، منابع بیشتری را صرف بهبود زیرساخت یکپارچه‌سازی پیوسته (CI) پشت پروژه‌ها می‌کنیم. به لطف فناوری‌های Hugging Face مانند HF Buckets و HF Jobs می‌توانیم ظرفیت لازم را برای تضمین درستی هر تغییری که به شاخهٔ master می‌رسد مقیاس‌پذیر کنیم. با حمایت سخت‌افزاری NVIDIA، AMD، Qualcomm، Arm، IBM و Intel، همچنان رانرهای خودمیزبان بیشتری را روی همهٔ پلتفرم‌های سخت‌افزاری اصلی مستقر می‌کنیم.

پوشش بک‌اند و مدل

موتور یادگیری ماشین زیربنایی llama.cpp یعنی ggml طوری طراحی شده است که تقریباً روی هر سخت‌افزاری که وجود دارد اجرا شود. این کار با پیاده‌سازی بک‌اندهای اختصاصی ggml انجام می‌شود. هر بک‌اند می‌تواند به‌صورت کتابخانهٔ پویا کامپایل شود و به‌صورت اختیاری در زمان اجرا بارگذاری شود.

فهرست کامل بک‌اندهای پیاده‌سازی‌شدهٔ کنونی را می‌توانید اینجا ببینید.

ما متعهد به پشتیبانی پیوسته از همهٔ معماری‌های مدل هستیم. در حال حاضر، llama.cpp از بیش از ۱۵۰ گونهٔ معماری و همچنین همهٔ روش‌های رایج رمزگشایی حدسی پشتیبانی می‌کند.

سپاسگزاری

تیم llama.cpp در Hugging Face از حمایت باورنکردنی جامعه سپاسگزار است. سپاس ویژه از نگه‌دارندگان دیرینهٔ پروژه و همهٔ مشارکت‌کنندگان. این یک نقطهٔ عطف مهم است که بدون تلاش مشترک ما ممکن نبود!

منابع بیشتر

نمونه‌های llama.cpp

ggml-org در Hugging Face

ggml-org در Github

Llama desktop apps را برای macOS و Windows ببینید؛ محصولی که تیم پشت llama.cpp و Hugging Face با عشق ارائه کرده است.

منبع: Hugging Face

متن و تصاویر اصلی از منبع بالا. ترجمه و ویرایش در دیجیتال سرآمد.