در ۸ سپتامبر ۲۰۲۶، گادی اورون (Gadi Evron)، پژوهشگر امنیتی از Knostic، به ما هشدار داد که از ۲۷ اوت ۲۰۲۶ یک مشکل جداسازی مستأجران (tenant isolation) در مدل GLM-5.3 سرویس Workers AI (با شناسه @cf/zai-org/glm-5.3) وجود دارد. ما این مشکل را برطرف کردیم و مدل را در ۹ سپتامبر بازگرداندیم. تأیید کردهایم که هیچ مدل دیگری که روی Workers AI میزبانی میشود تحت تأثیر قرار نگرفته است.
بین ۲۷ اوت و ۹ سپتامبر، شمار اندکی از مشتریانی که از مدل GLM 5.3 در Workers AI استفاده میکردند پاسخهایی دریافت کردند که حاوی داده درخواستهای سایر مشتریان به همین مدل بود؛ درخواستهایی که اندکی پیش از درخواست خودشان ثبت شده بودند. در مجموع ۱۵۵ پاسخ تحت تأثیر قرار گرفت و همه آنها مربوط به درخواستهایی با بیش از ۶۸۱٬۲۸۰ توکن بودند.
پس از کنار گذاشتن آزمونهای خودمان و آزمونهای پژوهشگر، درخواستهایی که شناسایی کردیم از نظر زمانبندی و حجم با استفاده معمول از زمینه بلند سازگارند، نه با کسی که مکرراً از این باگ سوءاستفاده کرده باشد. هیچ مدرکی از بهرهبرداری عمدی نیافتیم.
امروز این گزارش را همزمان با مطلبی از SGLang، موتور استنتاج متنبازی که از آن استفاده میکنیم، بهعنوان یک افشای هماهنگ منتشر میکنیم. این مطلب باگی را که به این مشکل انجامید، جدول زمانی واکنش ما و سختسازیهایی را که پس از آن روی استقرارهای تولیدی SGLang انجام دادیم شرح میدهد. همچنین تلاشهای مستمر خود را با نگهدارندگان بالادستی SGLang برای رفع این باگ و باگهای مشابه توضیح میدهیم.
چه اتفاقی افتاد
GLM یک مدل تولید متن از Z.ai است که برای جریانهای کاری کدنویسی عاملمحور ساخته شده و یکی از مدلهای متعددی است که از طریق Workers AI در دسترس قرار دارد. گادی اورون در ۸ سپتامبر از طریق برنامه HackerOne ما گزارشی ارسال کرد مبنی بر اینکه درخواستهای بسیار طولانی که به @cf/zai-org/glm-5.3 در Workers AI فرستاده میشوند گاهی متنی برمیگردانند که به نشست سایر کاربران تعلق دارد. Cloudflare صبح روز بعد این مشکل را بازتولید کرد و ظرف ۴۰ دقیقه پس از اعلام حادثه، مدل را از دسترس خارج کرد. سپس پیکربندی اصلاحشده و موتور استنتاج وصلهشده را مستقر کردیم و همان روز سرویس را بازگرداندیم.
این گزارش مشخص از افشای کش KV بین درخواستها، حاصل دو مشکل همپوشان بود. مشکل اول پیکربندی نادرست موتور استنتاج متنباز SGLang بود که Cloudflare از آن استفاده میکند. ما GLM 5.3 را با پنجره زمینه (context window) ۱٬۰۴۸٬۵۷۶ توکنی مستقر کردیم، اما استخر کش KV (KV pool) روی GPUهای پیشپردازش (prefill) ما فقط گنجایش ۶۸۱٬۲۸۰ توکن را داشت. پیش از راهاندازی از این ناسازگاری آگاه بودیم. انتظار داشتیم موتور برای هر درخواستی که نمیتواند پردازش کند خطا برگرداند و آزمونهای زمینه بلند ما پاسخهای موفق برگرداندند، بنابراین تصور نمیکردیم این موضوع مشکلی ایجاد کند.
مشکل دوم باگی در نحوه برخورد SGLang با درخواستهای بیشازحد طولانی در حالت پیشپردازش/تولید تفکیکشده بود. درخواستی که در استخر جا نمیشد بهصورت داخلی ردشده علامت میخورد و با یک جایگزین یکتوکنی عوض میشد، اما بهجای لغو درخواست و برگرداندن خطای کلاینت، مرحله پیشپردازش کش KV را برای درخواست جایگزین تولید میکرد و آن را به گره تولید (decode) منتقل میکرد. گره تولید پیام «انتقال کامل شد» دریافت میکرد و فرض میکرد که پیشپردازش کش KV درخواستهای قبلی را با متن کامل این درخواست بازنویسی کرده است، در حالی که در واقع بخش عمده وضعیت قبلی دستنخورده مانده بود. گره تولید سپس پاسخی تولید میکرد در حالی که به صفحات کش کهنهای توجه میکرد که هنوز داده درخواستهای پیشین را در خود داشتند. در نتیجه، پاسخ به درخواستهای بیش از ۶۸۱٬۲۸۰ توکن میتوانست حاوی داده نشستهای GLM 5.3 سایر کاربران باشد.
رفع فوری
پس از غیرفعال کردن مدل، برای اصلاح این آسیبپذیری پیش از بازگرداندن دسترسی عمومی به آن، اقدامهای زیر را انجام دادیم:
برای اصلاح پیکربندی، کاری کردیم که استخر کل زمینه را در خود جای دهد. پیکربندی GLM 5.3 خود را با پیکربندی GLM 5.2 هماهنگ کردیم که حافظه GPU کافی آزاد کرد تا استخر KV پیشپردازش اکنون حدود ۲٫۰۴ میلیون توکن گنجایش داشته باشد، تقریباً دو برابر طول زمینه ۱٬۰۴۸٬۵۷۶ توکنی. درخواستی که در پنجره زمینه جا میشود اکنون همیشه در استخر هم جا میشود، بنابراین مسیر ردشدن برای هیچ درخواست معتبری طی نمیشود. همین تغییر بهتنهایی مانع از بروز این باگ میشود.
برای اصلاح موتور، مسیر ردشدن را هم ایمن کردیم. تکیه صرف بر اندازه استخر شکننده است: هر تغییری در کوانتیزهسازی، موازیسازی تانسوری، اندازههای گراف CUDA یا نسخه آینده مدل، اندازه استخر را به شکلی تغییر میدهد که بهراحتی از چشم میافتد. علاوه بر این، ممکن است موقعیتهای دیگری هم وجود داشته باشد که در آنها زمانبند پیشپردازش درخواستی را رد کند و همان باگ را فعال کند. برای جلوگیری از این، موتور را وصله کردیم تا درخواستی که ردشدن معلق دارد، در صف پذیرش تفکیک، همراه با خطای اصلی خود، پیش از هر بوتاسترپ، تخصیص یا انتقال KV بازنشسته شود. این را بهصورت بالادستی در #38704 پیشنهاد دادیم که در آن گره تولید نیز بررسی میکند تعداد توکنهای منتقلشده با تعدادی که رزرو کرده مطابقت دارد. این رفع پیشتر در شاخه main پروژه SGLang در #36988 وجود داشت که در ۶ سپتامبر برای یک مسیر خطای مرتبط ادغام شده بود اما هنوز منتشر نشده بود. نگهدارندگان #38935 را هم ادغام کردند که این درخواستها را زودتر رد میکند و از رویکرد ما پیروی میکند.
هر دو تغییر را پیش از بازگرداندن مدل، با اسکریپت بازتولید پژوهشگر و آزمونهای نشانگر قناری (canary-marker tests) خودمان اعتبارسنجی کردیم.
پیشزمینه: چگونه GLM 5.3 را سرویس میدهیم
Workers AI مدل GLM 5.3 را با SGLang در پیکربندی تفکیکشده اجرا میکند: مجموعهای از GPUهای پیشپردازش درخواست را پردازش میکنند و کش KV مدل را برای آن تولید میکنند، سپس این کش را از طریق دسترسی مستقیم به حافظه از راه دور (RDMA) و با واسطه Mooncake به مجموعهای از GPUهای تولید تحویل میدهند که پاسخ را تولید میکنند. پیشتر در مطلبهای خود درباره مدلهای زبانی بزرگ با کارایی بالا و مدلهای کوچکتر، سریعتر و ایمنتر درباره این معماری نوشتهایم.
کش KV در حافظه GPU یک استخر مشترک از صفحات با اندازه ثابت است. به هر درخواست هنگام پذیرش صفحاتی تخصیص مییابد و هنگام پایان، آنها را آزاد میکند. صفحات در حال حاضر بین درخواستها صفر نمیشوند؛ درخواست بعدی که صفحهای دریافت میکند صرفاً آن را بازنویسی میکند. این رویکرد میان موتورهای استنتاج رایج است و برای رسیدن به بهترین کارایی ضروری است، اما به این معناست که موتور استنتاج مسئول پیگیری مالکیت این صفحات حافظه است. پیگیری مالکیت و طول عمر صفحات کش KV باید نهتنها با مالکیت مشترک درون یک گره (تخلیه کش KV و تولید توکن هر دو با طول عمرهای متفاوت به حافظه دسترسی دارند) سر و کار داشته باشد، بلکه با مالکیتی که از نظر فنی با گره پیشپردازش راه دور مشترک است (که مرجع تغییرپذیر همزمانی به صفحه دارد).
علاوه بر این، اندازه این استخر یک مقدار پیکربندی نیست. SGLang آن را هنگام راهاندازی بر اساس هر حافظه GPU باقیمانده پس از بارگذاری وزنهای مدل تعیین میکند. طول زمینه اعلامشده مدل یک مقدار پیکربندی جداگانه است. هیچ چیزی این دو را مجبور به همخوانی نمیکند و بررسی آن وظیفه ماست.
مشکل اول: پیکربندی نادرست
روی گرههای پیشپردازش GLM 5.3 با پیکربندی ما، استخر به ۶۸۱٬۲۸۰ توکن رسید در حالی که طول زمینه مدل ۱٬۰۴۸٬۵۷۶ توکن است. اندازه انتخابشده استخر KV هنگام راهاندازی توسط SGLang در لاگها چاپ و بهصورت یک متریک در دسترس قرار میگیرد. از این ناسازگاری اندازه آگاه بودیم؛ اما در آزمونهای پیش از راهاندازی، هنگام بنچمارک کدهای وضعیت HTTP موفق و بدنه استریمی بدون فریم خطا مشاهده کردیم. فرض کردیم موتور میتواند تفاوت میان استخر کش KV و پنجره زمینه درخواستی را از طریق استریم یا سازوکاری دیگر بهشکل روان مدیریت کند.
یک شکاف مهم در آزمون ما همین بود: ما فقط کدهای پاسخ HTTP و کارایی موتور را در زمینههای بلند اعتبارسنجی کردیم، بدون آنکه خروجی و انسجام مدل را بررسی کنیم. اکنون اندازه استخر KV را مستقیماً و از موتور در حال اجرا با طول زمینه مقایسه میکنیم، پیش از آنکه هر تغییری در استقرار تفکیکشده منتشر شود، نه اینکه آن را از کدهای پاسخ استنتاج کنیم.
مشکل دوم: باگ SGLang
تیم SGLang در نسخه v0.5.21 این باگ را در نحوه برخورد با درخواستهای طولانیتر از اندازه استخر KV برطرف کرده است. پیش از آن چه اتفاقی میافتاد:
وقتی درخواستی میرسید که طولانیتر از گنجایش استخر KV بود، زمانبند SGLang آن را رد میکرد. مسیر ردشدن (Req.set_finish_with_abort) خطایی را که باید به کلاینت برگردانده شود ثبت میکرد و درخواست را با یک جایگزین یکتوکنی عوض میکرد تا درخواست بتواند بدون تخصیص حافظه واقعی از سازوکار عادی دستهای عبور کند. در استقرار تکگرهی این کار جواب میداد: جایگزین اجرا میشد، دسته تمام میشد و کلاینت خطا دریافت میکرد.
در حالت تفکیکشدهای که ما اجرا میکنیم، صفهای پذیرش در هر دو مرحله پیشپردازش و تولید بررسی میکردند که آیا درخواست تمام شده است یا نه، نه اینکه آیا رد شده است یا نه. درخواست ردشده خود را زنده گزارش میکرد. بنابراین:
بوتاسترپ. مسیریاب طول درخواست را به گره تولید اعلام میکرد (۸ صفحه در نمودار). گره تولید ۸ صفحه KV برای درخواست رزرو میکرد.
پذیرش پیشپردازش. صف پذیرش پیشپردازش هر درخواستی را که req.finished() برایش False بود میپذیرفت. درخواست ردشده دلیل ردشدن خود را در to_finish ذخیره میکرد، نه در finished_reason، بنابراین finished() همچنان False برمیگرداند. درخواست ردشده پذیرفته میشد.
پاس رو به جلوی پیشپردازش. ردشدن از پیش درخواست را با یک جایگزین یکتوکنی عوض کرده بود. پیشپردازش یک پاس رو به جلوی بیاهمیت روی همان یک توکن اجرا میکرد.
انتقال KV. پیشپردازش یک صفحه KV به تولید میفرستاد و اعلام میکرد که انتقال کامل شده است.
پذیرش تولید. صف پذیرش گره تولید همان بررسی finished() را داشت، بنابراین تحویل را میپذیرفت.
توجه در تولید. تولید شروع به تولید میکرد و سازوکار توجه هر ۸ صفحه رزروشده را میخواند. فقط صفحه P0 توسط این درخواست نوشته شده بود. صفحات P1 تا P7 هنوز همان چیزی را داشتند که درخواستهای پیشین در آنها باقی گذاشته بودند: درخواستهای سایر کاربران و تولیدهای ناقص.
پاسخ. کلاینت بهجای HTTP 400 پاسخ HTTP 200 میگرفت. prompt_tokens با درخواست طولانی مطابقت داشت و پاسخ منسجم بود. سریعتر از آنچه پیشپردازش ۸ صفحهای باید طول بکشد میرسید و حاوی محتوایی از صفحات KV سایر کاربران بود.
هر درخواستی بالاتر از این آستانه همین رفتار را داشت. این باگ پیشتر توسط کاربر دیگری در ۶ ژوئیه ۲۰۲۶ با شماره #30233 به SGLang گزارش شده بود که Cloudflare هنگام بررسی این حادثه متوجه آن شد. ما از نسخه v0.5.10 به بعد این نوع مشکلات را به SGLang گزارش میکردیم و این حادثه امنیتی کاری را که Cloudflare پیشتر با همکاری تیم SGLang آغاز کرده بود تسریع کرد. وصله این مشکل در SGLang v0.5.20 منتشر شد و پیگیریهای آن در v0.5.21 و v0.5.22 آمد و برای استفاده سایر اپراتورهایی که به SGLang وابستهاند در دسترس است. اکیداً توصیه میکنیم همه اپراتورها وابستگیهای SGLang را به v0.5.22 یا بالاتر بهروزرسانی کنند. برای جزئیات بیشتر درباره PRهای مشخص، ادامه مطلب را بخوانید.
GLM 5.3 تنها مدلی بود که تحت تأثیر این باگ قرار گرفت. در هر استقرار تفکیکشده دیگری روی Workers AI، استخرهای KV در هر دو مرحله پیشپردازش و تولید بزرگتر از طول زمینه هستند، بنابراین هیچ درخواستی نمیتوانست به مسیر ردشدن برسد. رفع موتور و سختسازی شرحدادهشده در ادامه را روی همه مدلهایی که با SGLang سرویس میدهیم اعمال کردهایم و بررسیهای استقرار ما آنها را برای هر استقرار جدید الزامی میدانند.
جدول زمانی
همه زمانها به وقت UTC است.
زمان | رویداد
۲۷ اوت ۲۰۲۶ | GLM 5.3 روی Workers AI با استخر KV پیشپردازش کوچکتر از پنجره زمینهاش راهاندازی شد. افشا از همان زمان راهاندازی وجود داشت.
۸ سپتامبر ۲۰۲۶ - ۲۳:۱۱ | گزارش از طریق HackerOne دریافت شد.
۹ سپتامبر ۲۰۲۶ - ۰۸:۰۰ | Cloudflare بررسی گزارش HackerOne را آغاز کرد.
۹ سپتامبر ۲۰۲۶ - ۱۳:۲۲ | حادثه امنیتی اعلام شد. تیم امنیت محصول ظرف ۲۵ دقیقه با دو حساب مستقل نشت را بازتولید کرد.
۹ سپتامبر ۲۰۲۶ - ۱۴:۰۰ | پس از تأیید دامنه مشکل، GLM 5.3 خصوصی شد. درخواستها HTTP 400 برمیگردانند. صفحه وضعیت بهروزرسانی شد.
۹ سپتامبر ۲۰۲۶ - ۱۴:۳۵ | علت ریشهای کوچکتر بودن استخر پیشپردازش از طول زمینه شناسایی شد. گره پیشپردازش قناری با استخر بزرگتر تأیید شد که آسیبپذیر نیست.
۹ سپتامبر ۲۰۲۶ - ۱۴:۵۲ | همه گرههای پیشپردازش به پیکربندی اصلاحشده منتقل شدند.
۹ سپتامبر ۲۰۲۶ - ۱۹:۰۴ | استقرار کامل با پیکربندی اصلاحشده بههمراه وصله موتور نوشتهشده توسط Cloudflare که برای درخواستهای ردشده توسط زمانبند پیشپردازش بهدرستی خطا برمیگرداند، از نو ساخته شد. با اسکریپت بازتولید پژوهشگر اعتبارسنجی شد.
۹ سپتامبر ۲۰۲۶ - ۱۹:۴۰ | مدل به دسترس عمومی بازگردانده شد.
۱۰ سپتامبر ۲۰۲۶ - ۲۳:۳۰ | جلسه با نگهدارندگان SGLang (مدیر ارشد فناوری RadixArk و مهندسان اصلی) برای توافق بر سر رفعهای بالادستی.
۱۱ تا ۱۹ سپتامبر ۲۰۲۶ | سختسازی بیشتر روی همه استقرارهای تولیدی SGLang اعمال شد (جزئیات در ادامه).
۱۶ سپتامبر تا ۱۲ اکتبر ۲۰۲۶ | SGLang بالادستی رفع پذیرش، چکسام هر انتقال، حفظ تأییدیه لغو و فعالسازی پیشفرض آزادسازی تعویقافتاده KV را ادغام کرد.
۲ اکتبر ۲۰۲۶ | SGLang v0.5.21 منتشر شد.
۱۹ اکتبر ۲۰۲۶ | SGLang v0.5.22 منتشر شد.
۲۶ اکتبر ۲۰۲۶ | انتشار هماهنگ با پژوهشگر و RadixArk.
تلاش مستمر برای سختسازی
این باگ به دستهای از باگهای ایمنی حافظه کش KV تعلق دارد که Cloudflare چند ماه است روی رفع آنها کار میکند. در هر مورد، صفحهای آزاد، بازاستفاده یا خوانده میشود در حالی که چیز دیگری هنوز ادعای مالکیت آن را دارد. دو علت رایج میبینیم.
اولی طول عمر صفحه درون یک گره است. چندین وظیفه روی یک گره تولید میتوانند همزمان یک صفحه را در اختیار داشته باشند: تولید توکن، تخلیه به حافظه میزبان، گیرنده انتقال KV و مسیرهای لغو و خطا. اگر یکی از آنها صفحه را آزاد کند در حالی که دیگری هنوز از آن استفاده میکند، ممکن است صفحه به درخواست جدیدی داده شود در حالی که هنوز در حال خواندن یا نوشتن است. رفعهای پیشین ما برای تخلیه در مرحله تولید (#24226، #30899) و آزادسازی دوباره در خطاهای گرامر (#30937) از همین نوع بودند.
دومی یک رقابت بین گرههاست. وقتی درخواستی لغو میشود در حالی که پیشپردازش هنوز کش KV آن را از طریق RDMA به تولید مینویسد، نوشتنهایی که پیشتر ارسال شدهاند قابل بازگرداندن نیستند. اگر تولید آن صفحات را فوراً آزاد کند، ممکن است آن صفحات به درخواست دیگری داده شوند و نوشتنهای دیرهنگام در کش KV آن درخواست فرود آیند. Cloudflare از طریق رفعهای پیشنهادی (#31357، #38961) و یک اسکریپت بازتولید (#32564) در تلاش برای رفع این رقابت مشارکت کرده است. در هر دو حالت نتیجه، خروجی خراب یا داده یک کاربر در پاسخ کاربر دیگر است، بدون آنکه خطایی بروز کند. باگ این حادثه متفاوت بود: درخواست ردشده هر بار از تحویل عبور میکرد، نه بهصورت تصادفی بر اثر زمانبندی. اما نتیجه یکسان بود: تولید صفحاتی را میخواند که این درخواست هرگز در آنها ننوشته بود. هیچیک از این موارد، خرابی این حادثه را که در آن پیشپردازش درخواست را رد کرد و تولید هرگز از آن باخبر نشد، پوشش نمیداد.
از زمان حادثه، ما:
آزادسازی تعویقافتاده را گسترش دادیم تا صفحات مبدأ پیشپردازش را هم نگه دارد و همه انواع خرابی را پوشش دهد، نه فقط لغوها. این را بهصورت بالادستی در #38961 پیشنهاد دادیم که با #40645، #41402 و #41404 جایگزین شد.
دستههای محدود انتقال Mooncake را مستقر کردیم (#32758، از جامعه SGLang)، تا هیچ فراخوانی انتقال واحدی نتواند از مهلت آزادسازی فراتر بماند.
متعادلکننده بار خود را تغییر دادیم تا قطع اتصال کلاینت دیگر درخواست را در میانه انتقال لغو نکند. اکنون اتصال پیشپردازش را تا پایان پیشپردازش و اتصال تولید را تا نخستین توکن نگه میدارد و سپس هر دو را میبندد.
به هر تغییر در استقرار تفکیکشده یک بررسی افزودیم: اندازه استخر KV در مقایسه با طول زمینه، آزادسازی تعویقافتاده در هر دو نقش، محدودههای دسته انتقال درون مهلت آزادسازی و اعمال همه وصلههای لازم.
همه این تغییرات روی استقرارهای تولیدی تفکیکشده ما منتشر شدند.
همکاری با تیم SGLang
در ۱۰ سپتامبر، یک روز پس از حادثه، با نگهدارندگان SGLang در RadixArk جلسه داشتیم. توافق کردیم که RadixArk شرایط رقابتی را که گزارش کرده بودیم بررسی کند، ایده بررسی یکپارچگی را به بالادست ببرد و آزمونهای بازتولید برای این دسته از باگها بسازد.
موارد زیر برای رسیدگی به این حادثه و شرایط رقابتی مرتبط با کش KV روی شاخه main پروژه SGLang ادغام شدهاند و همه بهجز یکی در v0.5.22 گنجانده شدهاند. اپراتورهایی که SGLang را در حالت تفکیکشده اجرا میکنند باید به v0.5.22 بهروزرسانی کنند یا در صورت نیاز این وصلهها را به عقب برگردانند.
دسته | درخواست ادغام | انتشار | کاری که انجام میدهد
حادثه | #36988 | v0.5.20 | درخواستهای پیشپردازش لغوشده را پیش از رسیدن نتیجهشان به تولید بازنشسته میکند. این کار افشای داده در این حادثه را متوقف میکند.
حادثه | #38935 | v0.5.21 | این درخواستها را هنگام پذیرش، پیش از هر بوتاسترپ، تخصیص یا انتقال KV رد میکند. از رویکرد وصله پیشنویس Cloudflare، #38704، پیروی میکند.
رقابت | #39461، #41612 | v0.5.21، v0.5.22 | sgl-router در صورت قطع اتصال کلاینت یا خرابی پیشپردازش، هر دو نیمه درخواست را لغو میکند.
رقابت | #37454، #41023 | v0.5.20، v0.5.21 | آزادسازی تعویقافتاده KV را فقط روی بکاندهایی که از آن پشتیبانی میکنند فعال میکند و سپس آن را بهصورت پیشفرض روشن میکند.
رقابت | #40645، #41402 | v0.5.21 | مواردی را که تأییدیه تخلیه از دست میرفت اصلاح میکند، تا آزادسازیها بر اساس تأییدیه انجام شوند نه با انتظار تا پایان مهلت.
رقابت | #41404 | v0.5.21 | صفحات را در هر نوع خرابی انتقال نگه میدارد، نه فقط لغوهای آغازشده از سمت تولید.
رقابت | #41618 | v0.5.21 | یک پسرفت در مسیر اطلاعرسانی لغو را اصلاح میکند.
رقابت | #43719 | v0.5.22 | ارسال ناموفق Mooncake دیگر نوشتنهای خود را تخلیهشده گزارش نمیکند.
رقابت | #37077 | v0.5.22 | پیامهای لغو را برای هر درخواست برچسب میزند تا شناسه بازاستفادهشده نتواند تأییدیه کهنهای را مصرف کند. پشتیبانی MORI را اضافه میکند.
رقابت | #36612 | v0.5.20 | اطلاعرسانی خرابی پیشپردازش به تولید را میان Mooncake، NIXL و MORI به اشتراک میگذارد.
رقابت | #32758 | v0.5.20 | سقف اختیاری برای اندازه دسته انتقال Mooncake، تا یک فراخوانی زمانتمامشده نتواند تعداد نامحدودی نوشتن در جریان باقی بگذارد.
طول عمر | #30899 | v0.5.21 | تولید پیش از پسگرفتن درخواست و آزاد کردن صفحاتش منتظر تخلیه در جریان به حافظه میزبان میماند. نوشته Cloudflare.
طول عمر | #43562 | v0.5.22 | رتبههای موازیسازی تانسوری را هنگام شکست بازیابی کش حافظه میزبان همسو نگه میدارد.
قابلیت مشاهده | #39500 | v0.5.21 | گزینه --disaggregation-enable-kv-checksum را اضافه میکند: تولید پیش از تولید پاسخ، چکسام KV منتقلشده را بررسی میکند. پاکسازی در #39729، ادغامشده و در انتظار انتشار.
قابلیت مشاهده | #38596، #40642 | v0.5.20، v0.5.21 | اصلاحاتی برای قناری KV در SGLang که خرابی احتمالی را تشخیص میدهد و ثبت میکند.
قابلیت مشاهده | #41128 | v0.5.22 | متریکهایی برای آزادسازی تعویقافتاده: تعداد، مدت و اینکه هر نگهداشت با تأییدیه تخلیه پایان یافت یا با پایان مهلت.
این پیگیریها هنوز در جریاناند:
پاکسازی بیشتر برای --disaggregation-enable-kv-checksum در #39729. ادغامشده، در انتظار انتشار.
صفر کردن صفحات KV هنگام آزادسازی، پیشنهاد پیشنویس: #46435
گسترش اعتبارسنجی چکسام KV از تحویل پیشپردازش به تولید به هر گام تولید (به بخش «یکپارچگی بهواسطه ساختار» در ادامه مراجعه کنید)
پشتیبانی گستردهتر قناری KV و چکسام KV از مدلها و قابلیتها
توصیه ما به سایر اپراتورها
اگر SGLang را در حالت پیشپردازش/تولید تفکیکشده اجرا میکنید، موارد زیر را توصیه میکنیم:
استخر KV خود را اندازه بگیرید و آن را با طول زمینهتان مقایسه کنید، روی هر گره پیشپردازش و تولید، از لاگ راهاندازی موتور، پس از هر تغییر در وزنها، کوانتیزهسازی، موازیسازی یا کسر حافظه. اگر استخر کوچکتر است، طول زمینه را پایین بیاورید تا جا شود. به یک پراکسی برای اعمال محدودیت تکیه نکنید و فرض نکنید که موتور آنچه جا نمیشود را رد میکند. این همان بررسی است که ما اعمال نکردیم.
به نسخهای ارتقا دهید که #36988 و #38935 را شامل میشود (v0.5.22 یا بالاتر)، تا درخواست بیشازحد طولانی صرفنظر از اندازه استخر، پیش از تحویل رد شود. این رفع سمت موتور است و پشتیبان روزی است که بررسی شما در گام اول اشتباه باشد.
با آزادسازی تعویقافتاده KV در هر دو نقش اجرا کنید (پس از #41023 بهصورت پیشفرض) و دستههای انتقال Mooncake خود را محدود کنید تا یک فراخوانی زمانتمامشده نتواند دنباله نامحدودی از نوشتنها باقی بگذارد.
تشخیص خرابی را در جایی که مدل شما پشتیبانی میکند روشن کنید. --disaggregation-enable-kv-checksum و --kv-canary هنوز همه معماریهای مدل را پوشش نمیدهند. لاگهای خود را بررسی کنید تا مطمئن شوید درخواستها اعتبارسنجی میشوند. ما با تیم SGLang در حال کار هستیم تا هر دو بررسی را به معماریهای بیشتری از جمله GLM 5.3، GLM 5.3 Flash و DeepSeek V4 گسترش دهیم.
مطمئن شوید پراکسی شما لغوهای غیرضروری تولید نمیکند. متعادلکننده بار خود را طوری پیکربندی کنید که اجازه دهد درخواستها تا نخستین توکن پیش بروند، تا لغوی را فعال نکنید که نیازمند هماهنگی بین گرههاست.
بلندمدت
یکپارچگی بهواسطه ساختار
بررسیهای پیکربندی و رفعهای چرخهٔ عمر، تعداد راههایی را که یک صفحه میتواند بد استفاده شود کاهش میدهند. آنها بد استفاده شدن را ناممکن نمیکنند و این حادثه یادآوری است که باگ بعدی شکلی خواهد داشت که ما ندیدهایم. پاسخ پایدار این است که موتور هنگام خواندن تشخیص دهد درخواستی در شرف توجه به صفحهای است که مالک آن نیست و همان یک درخواست را شکست دهد، نه اینکه داده شخص دیگری را برگرداند.
تابستان امسال نمونه اولیهای از این را ساختیم و در اوت آن را شرح دادیم. هر صفحه فیزیکی KV برچسبی دارد که هنگام تخصیص دوباره صفحه تغییر میکند، هر درخواست برچسبهایی را که انتظار دارد ثبت میکند و نگاشت پیش از خواندن کش توسط مرحله تولید بررسی میشود. در آزمونهای ما کمتر از ۱٪ از توان عملیاتی و تأخیر دنباله را هزینه داشت. آن را در اواسط اوت روی GLM 5.2 آزمودیم اما اندکی بعد به دلیل مشکلات قابلیت اطمینان غیرفعال کردیم.
این نمونه اولیه همچنین به بکاندهای توجه و معماریهای مدل مشخصی گره خورده بود، بنابراین نمیتوانست یک رفع عمومی باشد. ما با تیم SGLang در حال کار هستیم تا نسخه تولیدی را در موتور بسازیم که روی همه مدلها کار کند، نه اینکه وصلههای مخصوص Cloudflare را نگه داریم. چکسام هر انتقال در #39500 نخستین گام است: تحویل از پیشپردازش به تولید را اعتبارسنجی میکند. برچسبهای سطح صفحه فراتر میروند، زیرا هر خواندن را بررسی میکنند، از جمله خواندنهای مدتها پس از انتقال.
یکپارچگی بهواسطه ناممکن بودن ریاضی
RDMA داده را مستقیماً از حافظه یک گره به حافظه گره دیگر کپی میکند. حیاتی است که دو ماشین بر سر اینکه داده کجا میرود، چه اندازهای دارد و چه زمانی تمام میشود توافق داشته باشند؛ هر ناسازگاری میتواند باعث شود گیرنده داده اشتباه بخواند. این باگ نمونهای از شکست سازگاری در یک سیستم توزیعشده است که در آن دو ماشین دیدگاه ناسازگاری از وضعیت آن سیستم داشتند.
در جای دیگری از Cloudflare، برای اثبات ایمنی سیستمهای توزیعشده با روشهای تأیید رسمی تلاش کردهایم. Topaz انتخاب IP بدون تعارض را برای سرورهای DNS معتبر ما ممکن میکند. مدلهای پیادهسازی QuePaxa در Meerkat باگهای سازگاریای را نشان دادهاند که متعاقباً رفع شدند.
اکنون تجربه خود در روشهای رسمی را به موتورهای انتقال کش KV معطوف میکنیم. این کار با مدلسازی و اثبات ایمنی یک پروتکل انتقال کش KV مبتنی بر RDMA آغاز میشود. هدف این است که سیستم کش KV توزیعشده SGLang تولیدی خود را با Mooncake مدلسازی کنیم و سپس هر انحرافی از ویژگیهای ایمنیای را که میخواهیم تضمین کنیم ردیابی و رفع کنیم. هدف اثبات این است — تا حد امکان — که باگی مانند این دیگر رخ ندهد. واقعبینانه انتظار داریم شکافهایی در آنچه اثباتکنندهها میتوانند به ما بگویند وجود داشته باشد، اما اثبات بقیه سیستم به ما اجازه میدهد آن شکافها را دقیقتر بررسی و پایش کنیم.
افشای هماهنگ
این گزارش را بهعنوان بخشی از یک افشای هماهنگ منتشر میکنیم. میخواهیم از پژوهشگر، گادی اورون (Gadi Evron)، تشکر کنیم که این را از طریق برنامه HackerOne ما با اسکریپتی روشن و قابل بازتولید گزارش کرد و به ما زمان داد تا آن را رفع کنیم و پیش از انتشار با نگهدارندگان SGLang هماهنگ شویم. همچنین از تیم SGLang در RadixArk تشکر میکنیم که این را مسئله خودشان و ما دانستند و رفعهای بالادستی را با فوریت ادغام کردند.
برای اطلاعات بیشتر مطلب تیم SGLang را بخوانید.
اگر مشکل امنیتیای در Workers AI پیدا کردید، لطفاً آن را در hackerone.com/cloudflare گزارش دهید.



