مدلهای زبانی کارهای زیادی میتوانند انجام دهند. مینویسند، خلاصه میکنند، ترجمه میکنند و ابزارها را فراخوانی میکنند. اما اینها فقط بخش کوچکی از توانایی یادگیری ماشین است.
فرض کنید مشتری با خط پشتیبانی شما تماس میگیرد. اول میخواهید بدانید چه گفته است (تشخیص گفتار). بعد میخواهید تصمیم بگیرید او را به کجا ارجاع دهید (تصمیمگیری). میتوانید هر دو کار را به یک مدل زبانی بسپارید، اما مدلهایی وجود دارند که مخصوص هر یک از این کارها ساخته شدهاند و بهتر، سریعتر و کمهزینهتر عمل میکنند.
در مرور نسخهٔ ۱.۰ AnyLanguageModel، یک سال کار با مدلهای محلی و میزبانیشده در Swift را بررسی کردیم. حالا که AnyLanguageModel و swift-huggingface به نسخههای ۱.x رسیدهاند، همان رویکرد را به گفتار و تصمیمگیری هم گسترش میدهیم: APIهای آشنای Swift با امکان انتخاب مدل.
امروز دو بسته را معرفی میکنیم:
AnySpeechRecognizer، API جدید تبدیل گفتار به متن اپل را با امکان انتخاب موتور تشخیص پیاده میکند؛ از جمله Parakeet شرکت NVIDIA و Qwen3-ASR شرکت Alibaba که بهصورت محلی روی Core ML اجرا میشوند. این بسته همچنین تفکیک گوینده را اضافه میکند تا مشخص شود چه کسی چه زمانی صحبت میکند.
AnyDecisionModel به پرسشهای بله/خیر، چندگزینهای و مقیاس امتیازدهی با نتایج و احتمالات نوعدار پاسخ میدهد. هر پاسخ را بهجای تولید متن، از احتمالات مدل استخراج میکند؛ با استفاده از مدلی روی دستگاه خودتان از طریق MLX، Core AI یا llama.cpp، یا با یک مدل تصمیمگیری از Jev یا Ollama.
هر دو بسته میتوانند مدلهای باز را از Hugging Face Hub دانلود و روی دستگاه اجرا کنند.
AnySpeechRecognizer
کامپیوترها دهههاست گفتار را رونویسی میکنند و در چند سال گذشته در این کار بسیار خوب شدهاند. پلتفرمهای اپل از قبل APIای برای این کار دارند. macOS 26 و iOS 26، SpeechAnalyzer را معرفی کردند؛ API جدید تبدیل گفتار به متن اپل. ماژولهایی مثل SpeechTranscriber و SpeechDetector را به یک تحلیلگر اضافه میکنید، فایل یا جریانی از بافرهای صوتی به آن میدهید و نتایج را همزمان با رسیدن از دنبالههای async میخوانید. AssetInventory مدلها را نصب میکند تا اپ شما زمان دانلود را تعیین کند.
این API خوشطراحی است، اما تنها موتور پشت آن، موتور خود اپل است. AnySpeechRecognizer همان API را نگه میدارد و به شما اجازه میدهد موتور را انتخاب کنید:
- import Speech
+ import AnySpeechRecognizerاین بسته از SpeechAnalyzer، SpeechTranscriber، DictationTranscriber، SpeechDetector و AssetInventory الگو میگیرد و فریمورک Speech اپل موتور پیشفرض آن است. اگر کد شما از این API مشترک استفاده میکند، تغییر import کافی است. برای استفاده از Parakeet بهجای آن، فقط شیوهٔ ساخت transcriber را تغییر میدهید:
let transcriber = SpeechTranscriber(
model: ParakeetSpeechModel(variant: .v3),
transcriptionOptions: [],
reportingOptions: [.volatileResults],
attributeOptions: [.audioTimeRange]
)مراحل نصب داراییها، اجرای تحلیلگر و خواندن نتایج تغییری نمیکند. README یک مثال کامل دارد و تفاوتها با فریمورک اپل را فهرست میکند.
با مدلها آشنا شوید
Parakeet v3 همان Parakeet TDT 0.6B v3 شرکت NVIDIA است. چندزبانه است: ۲۵ زبان اروپایی را تشخیص میدهد و خودش میفهمد کدام زبان را میشنود، پس لازم نیست locale بدهید.
Parakeet Ultra نسخهٔ پسآموزشدادهٔ Moondream بر پایهٔ v3 است. در بیشتر اندازهگیریهای ما دقیقتر بود.
Parakeet Unified نسخهٔ انگلیسی Parakeet شرکت NVIDIA است.
هر سه مدل Parakeet روی رانتایم Core ML اختصاصی همین بسته اجرا میشوند که از ورودی فایل و زنده، نتایج ناپایدار، زمانبندی واژه و اطمینان واژه پشتیبانی میکند.
Qwen3-ASR مدل گفتار Alibaba است و در اندازههای 0.6B و 1.7B عرضه میشود. ۳۰ زبان و ۲۲ گویش چینی، از جمله ماندارین، کانتونی، ژاپنی و کرهای را تشخیص میدهد که Parakeet پوشش نمیدهد. زبان را خودکار تشخیص میدهد، یا میتوانید آن را تعیین کنید:
let transcriber = SpeechTranscriber(
model: QwenSpeechModel(variant: .large, language: Locale.Language(identifier: "yue")),
transcriptionOptions: [],
reportingOptions: [],
attributeOptions: []
)Qwen3-ASR برای هر قطعه تا ۴۰ ثانیه یک نتیجهٔ نهایی میدهد، بدون نتایج ناپایدار، زمانبندی واژه یا اطمینان. روی GPU اجرا میشود و از Parakeet کندتر است، بنابراین برای رونویسی فایل مناسبتر است تا ورودی زنده.
برای افزودن موتور دیگر، SpeechRecognitionModel را برای پیکربندی آن و SpeechRecognitionExecutor را برای نشست یک ماژول پیاده کنید. README یک ارائهدهندهٔ کوچک دارد که متن جایگزین برمیگرداند تا کار را شروع کنید.
مدلهای Core ML روی Hub
برای اجرای این مدلها در اپها، آنها را به Core ML تبدیل و روی Hub منتشر کردیم:
مدل | تبدیل Core ML | چکپوینت اصلی | مجوز
Parakeet TDT 0.6B v3 | mattt/parakeet-tdt-0.6b-v3-coreml | nvidia/parakeet-tdt-0.6b-v3 | CC BY 4.0
Parakeet Ultra | mattt/parakeet-ultra-coreml | moondream/parakeet-ultra | CC BY 4.0
Parakeet Unified EN 0.6B | mattt/parakeet-unified-en-0.6b-coreml | nvidia/parakeet-unified-en-0.6b | NVIDIA Open Model License
Qwen3-ASR 0.6B | mattt/qwen3-asr-0.6b-coreml | Qwen/Qwen3-ASR-0.6B-hf | Apache 2.0
Qwen3-ASR 1.7B | mattt/qwen3-asr-1.7b-coreml | Qwen/Qwen3-ASR-1.7B-hf | Apache 2.0
Streaming Sortformer 4spk v2 | mattt/diar-streaming-sortformer-4spk-v2-coreml | nvidia/diar_streaming_sortformer_4spk-v2 | CC BY 4.0
Streaming Sortformer 4spk v2.1 | mattt/diar-streaming-sortformer-4spk-v2.1-coreml | nvidia/diar_streaming_sortformer_4spk-v2.1 | NVIDIA Open Model License
هر مخزن، چکپوینت منبع و یک checksum برای هر فایل را ثبت میکند و بسته آن را به یک revision ثابت پین میکند. مخزنهای Parakeet یک انکودر ۸ ثانیهای برای ورودی زنده اضافه میکنند که زمان تحلیل زنده را حدود یکسوم کاهش میدهد، به قیمت نرخ خطای واژهٔ تا حدی بالاتر. مخزن، workflowهای تبدیل را هم دارد که بیشترشان از اسکریپتهای mobius پروژهٔ FluidInference پیروی میکنند و هر تبدیل را با مدل اصلی مقابله میکنند.
دانلودها فقط زمانی انجام میشوند که اپ شما درخواستشان کند: حدود ۶۰۰ مگابایت برای هر Parakeet، بهعلاوهٔ حدود ۵۹۰ مگابایت برای انکودر زنده، ۰.۹ تا ۲.۴ گیگابایت برای Qwen3-ASR و حدود ۲۵۰ مگابایت برای Sortformer. فایلها در کش استاندارد Hugging Face ذخیره میشوند، بنابراین یک اپ Mac خارج از سندباکس، آنها را با Python و دیگر ابزارهای Hugging Face به اشتراک میگذارد.
تفکیک گوینده
وقتی مکالمهای را رونویسی میکنید، اغلب میخواهید بدانید چه کسی چه چیزی گفته است. این کار همان تفکیک گوینده است و فریمورک Speech اپل ماژولی برای آن ندارد، بنابراین AnySpeechRecognizer یکی اضافه میکند. SpeakerDiarizer مدل Streaming Sortformer شرکت NVIDIA را روی Core ML، در کنار یک رونویسکنندهٔ اپل یا Parakeet و روی همان خط زمانی اجرا میکند:
let diarizer = SpeakerDiarizer(model: SortformerDiarizationModel())
if let request = try await AssetInventory.assetInstallationRequest(
supporting: [transcriber, diarizer]
) {
try await request.downloadAndInstall()
}
let analyzer = SpeechAnalyzer(modules: [transcriber, diarizer])تفکیککننده تا چهار گوینده را دنبال میکند، حتی وقتی همزمان صحبت میکنند. SpeakerTimeline نتایج آن را جمع میکند و هر واژهٔ زمانبندیشده را به یک گوینده نسبت میدهد، تا بتوانید رونویسی را بر اساس نوبت گویندگان چاپ کنید. این قابلیت، مانند پشتیبانی از تصویر در AnyLanguageModel، فراتر از چیزی است که API اپل امروز ارائه میدهد.
تفکیککننده بهطور پیشفرض از Sortformer v2 استفاده میکند. میتوانید v2.1 را هم انتخاب کنید که NVIDIA آن را با دادههای جلسات بیشتری آموزش داده و در اندازهگیریهای ما روی جلسات هم دقیقتر بود.
چقدر خوب کار میکند؟
بسته را با ابزار خط فرمان hear روی یک M4 Max Mac Studio با macOS 27.0.1 اندازهگیری کردیم. نرخهای خطای واژه روی فایلهای ۳ تا ۸ دقیقهای LibriSpeech به این شرح است:
رونویسکننده | test-clean | test-other
Parakeet v3، فایل | ۱.۵۵٪ | ۲.۷۸٪
Parakeet v3، زنده | ۴.۷۳٪ | ۴.۲۹٪
Parakeet Ultra، فایل | ۱.۶۶٪ | ۲.۵۵٪
Parakeet Ultra، زنده | ۲.۶۵٪ | ۳.۲۸٪
Parakeet Unified، فایل | ۱.۴۳٪ | ۲.۱۹٪
Parakeet Unified، زنده | ۱.۴۵٪ | ۲.۴۲٪
رونویسکنندهٔ اپل، فایل | ۲.۱۲٪ | ۳.۹۷٪
Parakeet یک ساعت صدا را از فایل در حدود ۲۰ تا ۴۰ ثانیه، یا بهصورت زنده در حدود ۱.۵ تا ۲.۵ دقیقه رونویسی میکند و پس از کامپایل مدل توسط Core ML حدود ۱۰۰ مگابایت حافظه مصرف میکند. Qwen3-ASR بسیار کندتر است و چند گیگابایت حافظه میخواهد. جلسات برای همه سخت است: روی ضبطهای AMI که افراد همزمان صحبت میکنند، هر موتوری که آزمایش کردیم نرخ خطای واژهٔ بالای ۲۳٪ داشت.
این اعداد از یک دستگاه و چند مجموعهداده به دست آمدهاند، پس با سختافزار و صدای خودتان اندازهگیری کنید. hear evaluate روی فایلهای خودتان کار میکند و ابزار natural-speech-eval.py در مخزن، این اندازهگیریها را بازتولید میکند. تا اینجا فقط روی macOS 27 آزمایش کردهایم، نه روی iPhone.
در ادامه میخواهیم موتورهای بیشتری اضافه کنیم، از جمله Core AI روی macOS 27 و iOS 27.
AnyDecisionModel
AnyDecisionModel داستان دیگری است. فریمورکی از اپل نیست که بخواهیم روی آن الگو بگیریم و مدلهای تصمیمگیری هم دقیقاً تازه نیستند.
فقط وقتی یک مدل تصمیمگیری است که از منطقهٔ Décision فرانسه آمده باشد؛ وگرنه یک طبقهبندی بدون نمونهٔ درخشان است.
چیز تازه، نام است، بهعلاوهٔ کلی هیاهو و دستهای مدل که برای تصمیمگیری آموزش دیدهاند. فکر میکنیم مسیر آینده همینجاست، پس میخواستیم APIای در Swift داشته باشیم که برای آنها آماده باشد.
اپها اغلب از مدلهای زبانی میخواهند تصمیم بگیرند. آیا این پیام فوری است؟ کدام تیم باید این تیکت را رسیدگی کند؟ این مشتری چقدر ناراضی است؟ روش معمول این است که به مدل زبانی prompt بدهید و متن تولیدشده را تجزیه کنید. این کار یک پاسخ میدهد، اما احتمالاتی را که مدل به گزینههای دیگر داده نشان نمیدهد.
یک تصمیم در Swift اینگونه است:
import AnyDecisionModel
enum Department: String, Choosable {
case billing, technical, sales
}
let ticket = "I was charged twice for my order, and now the app logs me out when I try to ask for a refund."
let model = MLXDecisionModel(modelID: "mlx-community/Qwen3-4B-Instruct-2507-4bit")
let session = DecisionSession(model: model, state: .text(ticket))
let urgent = try await session.probability(of: "Does this convey urgency?")
let team = try await session.choice("Which team?", from: Department.self)
let anger = try await session.score(
"How frustrated?",
levels: ["Calm", "Frustrated", "Very angry"]
)urgent یک Double است. team یک Choice<Department> است که شامل مورد انتخابشده، یک احتمال برای هر گزینه و یک مقدار اطمینان است. anger یک Score است که شامل سطح مورد انتظار، یک احتمال برای هر سطح و یک مقدار اطمینان است. چون Department از Choosable پیروی میکند، team.value یک Department است که میتوانید در یک switch جامع استفاده کنید.
اگر از Foundation Models یا AnyLanguageModel استفاده کرده باشید، الگوی مدل و نشست برایتان آشنا خواهد بود. یک DecisionSession یک state واحد نگه میدارد که میتواند متن یا JSON باشد و هر پرسش دربارهٔ همان state است. پرسشها مستقلاند: هیچ پاسخی هرگز ورودی پرسش بعدی نمیشود. برای پرسیدن چند پرسش همزمان، آنها را بهصورت دستهای به decide(_:) بدهید.
برای هر پرسش، بکاند MLX یک prompt با یک برچسب تکتوکنی برای هر پاسخ مجاز میسازد و سپس احتمال هر برچسب را از یک forward pass میخواند.
امتحانش کنید: Emoji Magnet
Emoji Magnet یک اپ macOS است با یک فیلد متنی بالای تودهای از ۳۴۳ ایموجی. عبارتی مثل «چیزهایی که میپوشید» را تایپ کنید و ایموجیهای منطبق از توده بیرون میآیند. آن را به «چیزهایی که در زمستان میپوشید» دقیقتر کنید و ایموجیهایی که دیگر منطبق نیستند به توده برمیگردند.
اپ هیچ قاعدهٔ کلیدواژهای از پیش تعریفشده ندارد؛ مدل همهچیز را در زمان استنتاج تصمیم میگیرد. وقتی تایپ را متوقف میکنید، برای هر ایموجی یک پرسش بله/خیر از مدل میپرسد، مثلاً:
Statement: a heavy winter coat fits the description "things you wear". Is this statement true?state نشست، عبارت را نگه میدارد. دموی بالا از بکاند میزبانیشدهٔ Jev استفاده میکند که هر ۳۴۳ پرسش را در یک درخواست پاسخ میدهد، بنابراین ایموجیها برای هر عبارت در حدود نیم ثانیه جا میافتند. بدون TYPESAFE_AI_API_KEY، اپ مدل Qwen3 4B را با بکاند MLX روی Mac شما اجرا میکند. این بکاند با کش پیشوند، state را یک بار ارزیابی میکند و سپس در هر forward pass به ۱۶ پرسش پاسخ میدهد. روی یک M4 Max، هر گروه ۱۶تایی پس از بارگذاری مدل حدود ۰.۴۵ ثانیه طول میکشد. یک گذر کامل روی همهٔ ۳۴۳ ایموجی حدود ۱۰ ثانیه طول میکشد و نتایج هر گروه بهمحض رسیدن نمایش داده میشوند.
Emoji Magnet در مخزن AnyDecisionModel-Examples قرار دارد.
سرهای تصمیمگیری و Clef
خواندن احتمالات توکن بعدی با مدلهای زبانی همهمنظوره کار میکند، اما این مدلها برای تصمیمگیری آموزش ندیدهاند. مدلهای Clef شرکت Cloudflare نمونهای از رویکردی تازهترند: مدلی با یک سر تصمیمگیری آموزشدیده که یک state و یک schema از پرسشهای نوعدار را به تصمیم تبدیل میکند و در یک forward pass، احتمالات همهٔ گزینههای مجاز را برای همهٔ پرسشها برمیگرداند. Clef-Flash نسخهٔ 9B است.
AnyDecisionModel مدل Clef-Flash را با MLX روی Mac اجرا میکند:
let model = MLXHeadDecisionModel(
modelID: "mlx-community/clef-flash-4bit",
head: .jointSchema
)همان نشستها و پرسشها را به کار میبرید، اما MLXHeadDecisionModel هر تصمیم را بهجای احتمالات توکن بعدی، از سر تصمیمگیری آموزشدیدهٔ Clef میخواند. مدل ۴بیتی ۶.۲ گیگابایت دانلود دارد و کارت مدل آن، Mac با حداقل ۱۶ گیگابایت حافظه را توصیه میکند. Clef میتواند تصویر و ویدیو بخواند، اما این بکاند فقط stateهای متنی و JSON را میپذیرد.
کالیبراسیون و بررسی احتمالات
احتمالات خام مدلهای زبانی اغلب بیش از حد مطمئناند. بکاندهای محلی یک Calibration میپذیرند که یک دما روی هر پاسخ و یک بایاس روی پاسخهای بله/خیر اعمال میکند. برای برازش کالیبراسیون و ارزیابی نتایج از مجموعهدادههای جداگانه استفاده کنید.
مدلهای زبانی ممکن است گزینهای را بهخاطر جایگاهش در فهرست ترجیح دهند. در بکاندهای توکن بعدی MLX، Core AI و llama.cpp، rotationDebiasing را روشن کنید تا یک پرسش چندگزینهای برای هر چرخش گزینهها یک بار پرسیده شود و احتمالات میانگین گرفته شوند. این کار به ازای هر چرخش، یک ارزیابی prompt هزینه دارد.
هر انتخاب و امتیاز محلی همچنین یک مقدار اطمینان بر اساس آنتروپی احتمالاتش دارد. این مقدار نشان میدهد احتمالات چقدر متمرکزند، نه اینکه پاسخ درست است یا نه؛ پس پیش از انتخاب آستانه، نرخ خطا را روی دادههای خودتان بررسی کنید. تشخیصهای بکاندهای توکن بعدی گزارش میدهند مدل چه مقدار احتمال به پاسخهای مجاز داده است. مقدار پایین یعنی بیشتر احتمال را جای دیگری اختصاص داده است.
بکاندها
AnyDecisionModel شش بکاند دارد:
MLX یک مدل زبانی کوچک را با mlx-swift-lm روی سیلیکون اپل اجرا میکند و آن را از Hub دانلود میکند.
سرهای تصمیمگیری MLX مدلی را با سر تصمیمگیری آموزشدیدهٔ خودش اجرا میکنند، مثل Clef.
Core AI همان کار MLX را با یک مدل Core AI روی macOS 27 و iOS 27 انجام میدهد.
llama.cpp تصمیمها را از یک مدل محلی GGUF از طریق llama.swift میخواند.
Jev سرویس Jev شرکت TypeSafe را از طریق System One API، یا هر سروری که آن را پیاده کرده باشد مثل Kev، فراخوانی میکند.
Ollama یک مدل تصمیمگیری System One را روی یک سرور محلی Ollama یا در فضای ابری Ollama فراخوانی میکند. به Ollama نسخهٔ 0.35.0 یا بالاتر نیاز دارد، یا برای مدلهای ابری نسخهٔ 0.40.5 یا بالاتر.
بکاندهای توکن بعدی پاسخها را «yes» و «no»، A تا Z، یا ۰ تا ۹ برچسب میزنند، بنابراین یک انتخاب حداکثر ۲۶ گزینه و یک امتیاز حداکثر ۱۰ سطح میتواند داشته باشد. سرهای تصمیمگیری چنین محدودیتی ندارند.
مانند AnyLanguageModel، این بسته از traitهای بستهٔ Swift استفاده میکند. بدون trait، هیچ وابستگی شخص ثالثی ندارد. انواع اصلی و بکاندهای Jev و Ollama را دریافت میکنید که روی Linux هم ساخته میشوند. برای بکاندهای محلی، trait مربوط به MLX، CoreAI یا Llama را فعال کنید.
شروع کنید
هر دو بسته به Swift 6.2 یا بالاتر و macOS 26 یا iOS 26 یا بالاتر نیاز دارند. رانتایمهای Parakeet و Sortformer و بکاند MLX به سیلیکون اپل نیاز دارند. وظایف ساخت MLX در AnyDecisionModel از Swift 6.4 یا بالاتر در Xcode و زنجیرهٔ ابزار Metal استفاده میکنند؛ Core AI به Xcode 27 و رانتایم OS 27 نیاز دارد.
بستهها را به Package.swift خود اضافه کنید:
dependencies: [
.package(url: "https://github.com/mattt/AnySpeechRecognizer", from: "0.1.0"),
.package(
url: "https://github.com/mattt/AnyDecisionModel",
from: "0.6.0",
traits: ["MLX"]
),
]فعلاً trait مربوط به CoreAI در AnyDecisionModel با AnySpeechRecognizer قابل ترکیب نیست، چون coreai-kit 0.7.3 به swift-huggingface پایینتر از 1.0 نیاز دارد و AnySpeechRecognizer به نسخهٔ 1.x نیاز دارد.
هر README مثالها و جزئیات بیشتری دربارهٔ نیازمندیها و بکاندها دارد. AnySpeechRecognizer همچنین ابزار خط فرمان hear را شامل میشود که فایلهای محلی را رونویسی میکند، گویندگانشان را برچسب میزند و نتایج را ارزیابی میکند. هر دستور hear به --backend apple، --backend parakeet یا --backend qwen نیاز دارد؛ پیش از تحلیل، hear prepare را با همان بکاند و گزینههای مدل اجرا کنید تا داراییهای لازم نصب شوند.
آنها را در اپهای خود امتحان کنید و بگویید چه چیزی کار میکند و چه چیزی نه. issue و pull request در هر دو مخزن پذیرفته میشود.
پیوندها
AnySpeechRecognizer در GitHub
AnyDecisionModel در GitHub
AnyDecisionModel-Examples در GitHub
AnyLanguageModel در GitHub
swift-huggingface در GitHub
سپاس از NVIDIA برای Parakeet، Sortformer و NeMo؛ از Moondream برای Parakeet Ultra؛ از FluidInference که پروژههای FluidAudio و mobius آن قراردادهایی را مستند کردند که رانتایم Parakeet و تبدیلهای Core ML از آنها پیروی میکنند؛ از Cloudflare برای Clef؛ و از همهٔ کسانی که به AnyLanguageModel کمک کردند و هر دو بسته الگوهای آن را وام گرفتهاند.



