گزارش دسترس‌پذیری GitHub: اکتبر ۲۰۲۶

در اکتبر، هشت حادثه را تجربه کردیم که به افت عملکرد سرویس‌های GitHub انجامید.

ما همچنان هر ماه به‌روزرسانی‌هایی دربارهٔ کارهایی که پشت دسترس‌پذیری و قابلیت اطمینان GitHub انجام می‌شود منتشر می‌کنیم.

خلاصهٔ کوتاه اکتبر: ظرفیت قابل‌توجه و مستقلاً مقیاس‌پذیر Azure را اضافه کردیم و چند مسیر را که می‌توانستند خرابی را تشدید کنند حذف کردیم. با این حال، قطعی‌های عملیات نوشتن، شکاف‌های پایش در جریان مهاجرت داده و یک اختلال شبکهٔ منطقه‌ای نشان داد که رشد ظرفیت باید با عملیات ایمن‌تر، جداسازی قوی‌تر و بازیابی منطقه‌ای آزموده‌شده همراه شود.

تا ۹ نوامبر، ۱۴۰ سرویس از ۱۵۱ سرویس تولیدی و ۳۲ دیتابیس اصلی از ۵۰ دیتابیس اصلی MySQL در Azure Central US اجرا می‌شدند. Azure ۶۳٪ خواندن‌های سرویس‌های مهاجرت‌شده، ۶۶٪ خواندن‌های مونولیت و ۵۲٪ خواندن‌های Git را پاسخ می‌داد. همچنین توسعهٔ ظرفیت محاسباتی را در هر نُه خوشهٔ Kubernetes در Central US کامل کردیم و ظرفیت را بیش از دو برابر افزایش دادیم.

این ظرفیت هم‌اکنون رشد واقعی را پوشش می‌دهد. ترافیک سرویس‌های مهاجرت‌شده از مارس ۸۲٪ افزایش یافته و Central US رشدی را جذب کرده که فراتر از بالاترین میانگین بار هفتگی است که پیش‌تر از دیتاسنتر موجود ما ارائه می‌شد. این به GitHub فضای بیشتری برای رشد می‌دهد بدون آن‌که محیط اولیه از محدودهٔ عملیاتی پیشین خود فراتر برود.

چند بهبود هدفمند در قابلیت اطمینان هم انجام دادیم. تغییرات در Actions ظرفیت درخواست‌های حیاتی به صفحهٔ کنترل Azure را افزایش داد. یک اقدام جداگانه برای NAT-gateway مصرف را ۸۵٪ کاهش داد؛ در جریان این تغییر چهار کار تولیدی شکست خورد، در حالی که بدون این اقدام حدود ۸۰۰ شکست انتظار می‌رفت. محدودیت‌های اتصال و بهبودهای دیگر در سمت کلاینت هم اکنون احتمال تبدیل یک وقفهٔ وابستگی به یک موج گستردهٔ اتصال مجدد را کاهش می‌دهند.

منابع متمرکز بار دیتابیس را هم حذف کردیم. یک نقطهٔ پایانی پرترافیک GitHub Actions که روزانه بیش از ۲۵۰ میلیون درخواست را پردازش می‌کرد به مسیر سرویس کارآمدتری منتقل شد و خواندن‌های اوج دیتابیس را ۸۵٪ کاهش داد. الزام به وارد کردن حداقل سه نویسه پیش از جست‌وجوی موضوع‌های مخزن، پرس‌وجوهای کند یا متوقف‌شده برای این الگو را حدود ۹۸٪ کاهش داد.

با این حال، قابلیت اطمینان هنوز در سطح لازم نبود. قطعی‌های عملیات نوشتن در ۷ اکتبر تعامل ناایمنی میان ارکستراسیون دیتابیس و مسیریابی تولید را آشکار کرد. یک اختلال شبکهٔ Azure در ۲۹ اکتبر هر سه منطقهٔ دسترس‌پذیری Central US و دست‌کم ۳۴٬۱۲۸ کاربر واردشده را تحت تأثیر قرار داد. جزئیات بیشتر دربارهٔ این حوادث و حوادث دیگر در ادامه می‌آید.

توسعهٔ East US 3 حدود یک هفته از برنامه عقب است. مرحلهٔ بعد با نخستین افزایش ترافیک آزموده‌شده در هفتهٔ اول دسامبر آغاز می‌شود و در این میان، ایمنی مهاجرت، جداسازی وابستگی‌ها و بازیابی منطقه‌ای را تقویت می‌کنیم.

اصل همچنان همان است: نخست دسترس‌پذیری، سپس ظرفیت، سپس قابلیت‌ها.

۵ اکتبر، ساعت ۱۹:۱۱ به وقت UTC (به مدت ۳ ساعت و ۳۸ دقیقه)

مدت: حدود ۳ ساعت و ۴۵ دقیقه.

ممکن است مشتریان دیده باشند که کارهای GitHub Actions روی GitHub-hosted runners بسیار بیشتر از حد معمول در صف مانده‌اند و برخی اجراهای گردش‌کار شروع نشده‌اند. در بدترین بازه که حدود ۹۰ دقیقه طول کشید، بیشتر کارهای روی GitHub-hosted runners در پنج دقیقه شروع نشدند. با جابه‌جایی به مسیر جایگزین در مناطق سالم و افزودن ظرفیت، تأثیر کاهش یافت. اجراکننده‌های خودمیزبان تحت تأثیر قرار نگرفتند. سایت‌های GitHub Pages که با actions ساخته می‌شوند دیر به‌روز می‌شدند، هرچند سایت‌های موجود به‌طور عادی سرو می‌شدند. برخی مشتریان در فهرست مخزن‌ها، صفحه‌های مجوز و صورت‌حساب و برخی قابلیت‌های Copilot هم خطا دیدند.

چه چیزی خراب شد و چرا؟

کارهای Actions در صف می‌ماندند یا شروع نمی‌شدند، چون سرویسی که کارها را به GitHub-hosted runners تخصیص می‌دهد از کار کردن مطمئن بازماند. یک خرابی جزئی شبکه از سمت ارائه‌دهندهٔ ابری ما برخی اتصال‌ها میان یکی از مناطق دیتاسنتر ما و دیتابیس‌های میزبانی‌شده در ابر را که این سرویس به آن‌ها وابسته است مختل کرد. سرویس به‌جای شکست سریع، منتظر ماند تا این فراخوانی‌ها به پایان مهلت برسند. فراخوانی‌های در انتظار انباشته شدند تا سرویس حافظه‌اش تمام شد و راه‌اندازی مجدد کرد.

سپس کارها به همان سرویس در یک منطقهٔ سالم منتقل شدند که ظرفیت کافی برای تقاضای اضافه نداشت و آن هم شروع به شکست کرد. هم‌زمان، اجراکننده‌هایی که چند دقیقه کاری دریافت نکرده بودند خاموش شدند و جایگزینی‌شان کند بود، بنابراین اجراکننده‌های کمتری برای برداشتن کارها در دسترس بود.

چگونه پاسخ دادیم؟

- یک خرابی جزئی شبکه آغاز شد و کارهای actions شروع به انباشته شدن کردند.

- هشدارها خطاها و کندی تخصیص کار را نشان دادند و ما حادثه اعلام کردیم.

- سرویس تخصیص کار به GitHub-hosted runners را دوباره مستقر کردیم، اما بازیابی نشد. شکست‌ها را تا مشکل شبکه ردیابی کردیم.

- دیتابیس‌ها و ذخیره‌سازی تحت تأثیر را یک سرویس در هر زمان به مناطق سالم جابه‌جا کردیم و ظرفیت افزودیم. Actions بازیابی شد، اما برخی سرویس‌های تحت تأثیر دیگر حتی پس از جابه‌جایی همچنان شکست می‌خوردند.

- با ارائه‌دهندهٔ ابری خود برای رفع خرابی شبکه همکاری کردیم. سرویس‌های باقی‌مانده بازیابی شدند و حادثه را حل‌شده اعلام کردیم.

چگونه حوادثی مانند این را کم‌احتمال‌تر یا کم‌تأثیرتر می‌کنیم؟

- سرویس تخصیص کار به GitHub-hosted runners را طوری بهبود می‌دهیم که افزایش ناگهانی بار را بهتر تحمل کند تا وقتی منطقهٔ دیگری کارهای اضافه را به آن منتقل می‌کند، از پس آن برآید.

- اکنون اولویت‌بندی تخصیص اجراکننده بر اساس پروفایل مشتری را در شرایطی که ظرفیت اجراکنندهٔ در دسترس کاهش یافته گسترش داده‌ایم.

- رفتار GitHub-hosted runners را تغییر می‌دهیم تا وقتی سرویس‌های تخصیص کار مدتی دچار افت هستند، زمان بازیابی کاهش یابد.

- سرعت تشخیص و مکان‌یابی خرابی‌های جزئی شبکه میان دیتاسنترهای خود و سرویس‌های میزبانی‌شده در ابر را که به آن‌ها وابسته‌اند بهبود می‌دهیم.

۶ اکتبر، ساعت ۱۹:۵۷ به وقت UTC (به مدت ۳ ساعت و ۴۳ دقیقه)

مدت: حدود ۶ دقیقه درخواست‌های ناموفق یا کند در سراسر github.com و سپس حدود ۳ ساعت و ۳۰ دقیقه که در آن مهاجرت‌های سازمانی متوقف بود.

ممکن است مشتریان هنگام ورود، کار با مخزن‌ها و درخواست‌های کشش، فراخوانی API یا استفاده از GitHub Codespaces خطای سرور یا پاسخ کند دیده باشند. تلاش دوباره پس از مدت کوتاهی موفق می‌شد و تحویل‌های به‌تأخیرافتادهٔ وبهوک هم کمی بعد جبران شدند. در اوج، حدود ۱٫۳٪ از همهٔ درخواست‌ها ناموفق بود یا به پایان مهلت رسید و حدود ۶٫۴ هزار سازمان دست‌کم یک درخواست ناموفق یا کند داشتند.

مهاجرت‌ها برای مشتریانی که از GitHub Enterprise Importer استفاده می‌کردند متوقف شد و پس از استقرار یک اصلاح از سر گرفته شد.

چه چیزی خراب شد و چرا؟

جهشی در فعالیت مهاجرت باعث شد GitHub Enterprise Importer انبوهی از پرس‌وجوهای بسیار بزرگ را به یک دیتابیس مشترک بفرستد. این پرس‌وجوها بسیار بیشتر از حد معمول طول کشیدند و همراه با ترافیک عادی، همهٔ اتصال‌های در دسترس دیتابیس را مصرف کردند و مانع شدند سایر قابلیت‌های github.com که به همان دیتابیس وابسته‌اند درخواست‌هایشان را کامل کنند.

وقتی دیتابیس دچار اضافه‌بار شد، importer بار خود را کاهش نداد. تأثیر در عرض چند دقیقه پایان یافت، زمانی که importer پرس‌وجوهای در صف خود را تمام کرد و اتصال‌های دیتابیس آزاد شدند.

برای جلوگیری از تکرار، مهاجرت‌ها را متوقف کردیم تا اصلاحی را مستقر کنیم که این پرس‌وجوها را در دسته‌های کوچک‌تر اجرا می‌کند.

چگونه پاسخ دادیم؟

- جهشی در کار مهاجرت یک دیتابیس مشترک را دچار اضافه‌بار کرد و باعث شد درخواست‌ها در سراسر github.com ناموفق شوند یا کند شوند.

- پایش خودکار خطاها را تشخیص داد و به مهندسان کشیک ما پیام داد.

- خطاها در عرض چند دقیقه خودبه‌خود متوقف شدند.

- حادثه اعلام کردیم و مهاجرت‌های سازمانی را متوقف کردیم تا در حین بررسی علت از تکرار جلوگیری کنیم.

- پس از استقرار یک اصلاح، مهاجرت‌ها را از سر گرفتیم و حادثه را حل‌شده اعلام کردیم.

چگونه حوادثی مانند این را کم‌احتمال‌تر یا کم‌تأثیرتر می‌کنیم؟

- پرس‌وجویی را که GitHub Enterprise Importer به دیتابیس می‌فرستد بهینه کردیم تا هر کدام کوچک و با اندازهٔ ثابت بماند.

- عقب‌نشینی خودکار importer را هنگام فشار روی دیتابیس خودکار می‌کنیم تا بار پیش از آن‌که به سایر سرویس‌های GitHub آسیب بزند کاهش یابد.

- هشدارهای دیتابیس را اضافه می‌کنیم که پرس‌وجوهایی با کار بسیار بیشتر از حد معمول را نشان دهند و مشخص کنند کدام پرس‌وجو مسئول است تا بتوانیم مشکلاتی مانند این را سریع‌تر پیدا و رفع کنیم.

۷ اکتبر، ساعت ۱۵:۱۴ و ۱۷:۱۷ به وقت UTC (به ترتیب به مدت ۱ ساعت و ۱۱ دقیقه و ۴۷ دقیقه)

مدت: دو قطعی جداگانهٔ عملیات نوشتن حدود ۱۰ دقیقه و ۹ دقیقه طول کشید، در مجموع حدود ۱۹ دقیقه. دومی تکرار اولی با همان علت بود.

ممکن است مشتریان هنگام push کد، ورود، به‌روزرسانی درخواست‌های کشش یا ایشوها یا اعمال تغییرات از طریق API خطا دیده باشند. وبهوک‌ها، GitHub Apps و OAuth، actions، اسکن کد، codespaces و Copilot هم تحت تأثیر قرار گرفتند. مشاهدهٔ محتوا عمدتاً تحت تأثیر نبود. داده‌هایی که پیش‌تر ذخیره شده بود از دست نرفت و اقداماتی که در طول قطعی شکست خورده بودند پس از بازیابی با تلاش دوباره موفق شدند.

شکست درخواست‌های وب و API در قطعی اول به ۸٫۹٪ و در قطعی دوم به ۹٫۳٪ رسید و به ترتیب بیش از ۱۲٬۰۰۰ و بیش از ۱۱٬۰۰۰ سازمان را تحت تأثیر قرار داد. ممکن است برخی سازمان‌ها تحت تأثیر هر دو قطعی بوده باشند.

چه چیزی خراب شد و چرا؟

در جریان نگهداری معمول، ماشین‌هایی را که مدیریت می‌کنند نوشتن‌های دیتابیس به کجا فرستاده شود جایگزین کردیم. یک ماشین جدید با سوابق قدیمی شروع به کار کرد که هنوز سرورهای دیتابیس بازنشسته را فهرست می‌کردند. وقتی این ماشین به‌طور خودکار به‌عنوان رهبر انتخاب شد، تنظیمات مسیریابی را منتشر کرد که نوشتن‌های چند دیتابیس اصلی را به آن سرورهای بازنشسته می‌فرستاد. تنظیمات نادرست از اعتبارسنجی موجود ما گذشت و بلافاصله اعمال شد. بعداً یک وظیفهٔ نگهداری خودکار توقف نگهداری را رعایت نکرد و انتخاب رهبر دیگری را برانگیخت و چون ماشین جدید هنوز حذف نشده بود، دوباره رهبر شد.

چگونه پاسخ دادیم؟

- پایش خودکار ما را از شکست نوشتن‌ها آگاه کرد و حادثه اعلام کردیم.

- نوشتن‌ها وقتی بازیابی شدند که یک ماشین تثبیت‌شده با سوابق درست رهبر شد و تنظیمات صحیح را منتشر کرد.

- علت را تا ماشین جدید ردیابی کردیم، حادثهٔ اول را حل کردیم و نگهداری خودکار را برای جلوگیری از تکرار متوقف کردیم.

- وقتی یک وظیفهٔ نگهداری توقف را رعایت نکرد و قطعی تکرار شد، حادثهٔ دومی اعلام کردیم.

- نوشتن‌ها وقتی بازیابی شدند که یک ماشین تثبیت‌شده دوباره رهبر شد. ماشین جدید را حذف کردیم و حادثهٔ دوم را حل‌شده اعلام کردیم.

چگونه حوادثی مانند این را کم‌احتمال‌تر یا کم‌تأثیرتر می‌کنیم؟

- شیوهٔ بازنشسته کردن سرورهای دیتابیس را بهبود دادیم تا سوابق قدیمی باقی نمانند.

- کنترل‌ها را بر افزودن ماشین‌های جدیدی که مسیریابی دیتابیس را مدیریت می‌کنند سخت‌گیرانه‌تر کردیم و مطمئن می‌شویم نگهداری خودکار توقف را رعایت می‌کند.

- اعتبارسنجی تنظیمات مسیریابی دیتابیس را تقویت کردیم تا تنظیمات نادرست پیش از اعمال شناسایی شوند.

۱۹ اکتبر، ساعت ۱۵:۴۹ به وقت UTC (به مدت ۱ ساعت و ۷ دقیقه)

مدت: حدود ۱ ساعت و ۲۸ دقیقه.

ممکن است مشتریان در به‌روزرسانی وضعیت گردش‌کارهای GitHub Actions، گزارش‌ها و بررسی‌ها تأخیر دیده باشند. حدود ۵٪ از کارها روی GitHub-hosted runners با تأخیر شروع شدند، سهم بسیار کوچکی از اجراهای گردش‌کار شکست خورد و برخی درخواست‌ها به API REST کارهای actions خطا برگرداند. استقرارهای GitHub Pages و رویدادهای وبهوک گردش‌کار و بررسی که با اجراهای actions تولید می‌شوند هم به تأخیر افتادند. در بخشی از این مدت، به‌روزرسانی‌های زنده در github.com و جست‌وجوی کد دچار افت بودند.

چه چیزی خراب شد و چرا؟

یک سرویس داخلی actions که گزارش‌های گردش‌کار و وضعیت اجرا را ذخیره می‌کند، اتصال‌های خود به برخی سرورهای کش در یک منطقهٔ ابری را از دست داد. سپس هر سروری که این سرویس را اجرا می‌کرد هم‌زمان آن اتصال‌ها را دوباره تلاش کرد. این تلاش‌های دوباره با هم، اتصال‌های شبکه میان دیتاسنتر GitHub و آن منطقه را اشباع کردند و سایر سرویس‌هایی را که از همان پیوند استفاده می‌کنند مختل کردند.

چگونه پاسخ دادیم؟

- هشدارهای خودکار خطاها را تشخیص دادند، حادثه اعلام کردیم و مشکل را تا پیوند شبکهٔ مشترک ردیابی کردیم.

- سرویس actions را از برخی سرورهای کش خود در آن منطقه دور کردیم، اما پیوند همچنان بیش از ظرفیت بود.

- آن را از بقیهٔ سرورهای کش دور کردیم و پیوند بازیابی شد.

- محدودیت‌های پردازش را بالا بردیم تا انباشت actions پاک شود و پس از بازیابی همهٔ سرویس‌های تحت تأثیر، حادثه را حل‌شده اعلام کردیم.

چگونه حوادثی مانند این را کم‌احتمال‌تر یا کم‌تأثیرتر می‌کنیم؟

- سرعت باز کردن اتصال‌های جدید این سرویس actions به سرورهای کشش را محدود کرده‌ایم.

- برای جهش‌های اتصال‌های جدید از این سرویس هشدار می‌دهیم تا منبع را زودتر شناسایی و رفع کنیم.

۲۱ اکتبر، ساعت ۱۴:۵۲ به وقت UTC (به مدت ۴ ساعت و ۳۰ دقیقه)

مدت: حدود ۶ ساعت و ۴۶ دقیقه.

ممکن است مشتریان در به‌روزرسانی درخواست‌های کشش، به‌روزرسانی وضعیت گردش‌کارهای GitHub Actions و تحویل وبهوک‌ها تأخیر دیده باشند. پس از یک push، کامیت‌های جدید دیر در درخواست‌های کشش ظاهر می‌شدند. گردش‌کارهایی که با push فعال می‌شدند دیر شروع می‌شدند. بررسی‌های وضعیت از گردش‌کارهای actions ممکن بود در درخواست‌های کشش گیرکرده به نظر برسند و ادغام‌هایی را که به گذر این بررسی‌ها نیاز دارند متوقف کنند. این قابلیت‌ها در حدود ۲ تا ۳٫۵ ساعت بازیابی شدند.

رویدادهای گزارش حسابرسی بیشترین مدت را تحت تأثیر قرار گرفتند. فعالیت اخیر هنگام جست‌وجوی مشتریان در گزارش‌های حسابرسی دیرتر ظاهر می‌شد و تأخیر تا ۱ ساعت و ۵۰ دقیقه بود. رویدادهای گزارش حسابرسی پس از حدود ۶ ساعت و ۴۶ دقیقه کاملاً جبران شدند.

ممکن است برخی تحویل‌های وبهوک از این دوره در تاریخچهٔ تحویل وبهوک موجود نباشد، هرچند خود وبهوک‌ها تحویل داده شدند.

چه چیزی خراب شد و چرا؟

برخی سرورها در پلتفرم جریان رویداد ما به محدودیت حافظه نزدیک بودند و مصرف حافظه در این سرورها با تعداد اتصال‌های کلاینت افزایش می‌یابد. وقتی درخواست‌ها به این سرورها شکست می‌خورد، اتصال‌های جدید بلافاصله باز می‌شد که تعداد اتصال‌ها و حافظهٔ مصرفی را افزایش می‌داد. افزایش مصرف حافظه سرورها را کند و دچار اضافه‌بار کرد.

سرورهای دچار اضافه‌بار را از سرویس خارج کردیم و ترافیکشان به سرورهای دیگر منتقل شد. آن سرورها هم دچار اضافه‌بار شدند و مشکل در ساعت بعد به سرورهای بیشتری سرایت کرد. شروع کردیم به توزیع دوبارهٔ پارتیشن‌های دچار اضافه‌بار روی کارگزارهایی که ظرفیت در دسترس داشتند و این مشکل را کاهش داد.

گزارش‌های حسابرسی بیشترین زمان را برای بازیابی گرفتند. سرویسی که رویدادهای گزارش حسابرسی را می‌نویسد بیش از دو ساعت بر اثر خطاهای پلتفرم مدام راه‌اندازی مجدد می‌شد و بیشتر عقب افتاد. پس از تثبیت، فقط می‌توانست رویدادها را با نرخ محدود بنویسد، بنابراین پاک کردن انباشت چند ساعت دیگر طول کشید.

چگونه پاسخ دادیم؟

- حادثه اعلام کردیم و بخشی از ترافیک را از یک سرور دچار اضافه‌بار دور کردیم، اما سرورهای بیشتری کمی بعد دچار اضافه‌بار شدند.

- پرترافیک‌ترین جریان را به پارتیشن‌های بیشتری تقسیم کردیم و به سرورهای کم‌بارتر منتقل کردیم. همهٔ قابلیت‌های تحت تأثیر به‌جز گزارش‌های حسابرسی به‌تدریج بازیابی شدند.

- پس از آن‌که سرویس گزارش حسابرسی از راه‌اندازی مجدد بازایستاد، نرخ نوشتن رویدادها را بالا بردیم تا انباشت سریع‌تر پاک شود.

- پس از بازگشت تأخیرهای گزارش حسابرسی به محدودهٔ سالم، حادثه را حل‌شده اعلام کردیم و انباشت باقی‌مانده بعداً پاک شد.

چگونه حوادثی مانند این را کم‌احتمال‌تر یا کم‌تأثیرتر می‌کنیم؟

- به اتصال‌های مجدد پس از یک درخواست ناموفق تأخیر تصادفی اضافه کردیم تا سرورهایی که پیش‌تر کند شده‌اند با موجی از اتصال‌های جدید روبه‌رو نشوند.

- زودتر دربارهٔ مصرف حافظهٔ سرور هشدار می‌دهیم تا پیش از کند شدن سرور، ترافیک را جابه‌جا کنیم.

- مقصد دومی برای دادهٔ تحویل وبهوک اضافه می‌کنیم که بتوانیم به آن سوئیچ کنیم تا اگر پلتفرم جریان رویداد ما کند شد، تحویل وبهوک‌ها ادامه یابد.

- کتاب‌های راهنمای خود را بهبود داده‌ایم تا در موقعیت‌های مشابه در آینده پارتیشن‌های پرترافیک را جابه‌جا کنیم.

۲۸ اکتبر، ساعت ۱۴:۱۲ به وقت UTC (به مدت ۱ ساعت و ۱۶ دقیقه)

مدت: حدود ۱ ساعت و ۳۲ دقیقه.

ممکن است مشتریان هنگام استفاده از چند مدل از مدل‌های خانوادهٔ GPT در Copilot خطا دیده باشند. درخواست‌هایی که از این مدل‌ها در Copilot Chat در IDEها و در github.com، Copilot CLI، Copilot code review و Copilot coding agent استفاده می‌کردند خطا برگرداندند یا کامل نشدند. حدود یک در ۱۰ درخواست به مدل‌های تحت تأثیر شکست خورد. مدل‌های دیگر همچنان کار می‌کردند و انتخاب مدل دیگر از خطاها جلوگیری می‌کرد. انتخاب خودکار مدل با فرستادن برخی درخواست‌ها به مدلی بدون تأثیر، خطاها را کاهش داد.

اسکن کد autofix و کیفیت کد که بر یک مدل مشخص بدون مدل جایگزین برای سوئیچ ساخته شده‌اند، بیشتر تحت تأثیر قرار گرفتند.

چه چیزی خراب شد و چرا؟

Copilot به این مدل‌ها از طریق یک ارائه‌دهندهٔ بالادستی مدل دسترسی دارد و برای احراز هویت نزد آن ارائه‌دهنده از یک اعتبارنامه استفاده می‌کند. این اعتبارنامه نامعتبر شد، ارائه‌دهنده شروع به رد درخواست‌های ما به‌عنوان احراز هویت‌نشده کرد و سرویس ما این ردها را به‌صورت خطای احراز هویت به کلاینت‌ها برگرداند. قابلیت‌های Copilot که از این مدل‌ها استفاده می‌کنند درخواست‌هایشان را از طریق آن ارائه‌دهنده می‌فرستند، بنابراین هم‌زمان شروع به شکست کردند.

چگونه پاسخ دادیم؟

- اعتبارنامه‌ای که با یک ارائه‌دهندهٔ بالادستی مدل استفاده می‌کنیم از کار افتاد و درخواست‌ها به مدل‌های تحت تأثیر شروع به شکست کرد.

- هشدارها افزایش خطاها در مدل‌های تحت تأثیر را نشان دادند و حادثه اعلام کردیم.

- یک به‌روزرسانی عمومی وضعیت منتشر کردیم و توصیه کردیم در این فاصله مدل دیگری انتخاب شود.

- خطاها را تا اعتبارنامهٔ خودمان ردیابی کردیم و جایگزینی ساختیم.

- استقرار اعتبارنامهٔ جدید را آغاز کردیم و پس از به‌روزرسانی نخستین محیط، درخواست‌ها شروع به بازیابی کردند.

- استقرار را در محیط‌های باقی‌مانده کامل کردیم، تأیید کردیم که درخواست‌ها به مدل‌های تحت تأثیر بازیابی شده‌اند و حادثه را حل‌شده اعلام کردیم.

چگونه حوادثی مانند این را کم‌احتمال‌تر یا کم‌تأثیرتر می‌کنیم؟

- شیوهٔ برخورد سرویس خود با خطاهای احراز هویت از ارائه‌دهندگان بالادستی مدل را بهبود دادیم تا درخواست‌ها به‌جای شکست، دوباره تلاش شوند.

- مدیریت اعتبارنامه‌ها برای ارائه‌دهندگان بالادستی مدل را تقویت می‌کنیم.

- هشدارهایی برای خطاهای احراز هویت از ارائه‌دهندگان بالادستی مدل اضافه می‌کنیم تا این نوع مشکل را سریع‌تر شناسایی و رفع کنیم.

۳۰ اکتبر، ساعت ۱۴:۳۱ به وقت UTC (به مدت ۳۱ دقیقه)

مدت: حدود ۹ دقیقه.

ممکن است مشتریان دیده باشند که برخی درخواست‌ها به github.com تا حدود ۱۰ ثانیه معلق ماندند و سپس با خطای سرور شکست خوردند. ادغام درخواست‌های کشش و عملیات Git روی SSH و Git LFS بیشترین ضربه را خوردند. در بدترین نقطه، حدود ۴۳٪ از تلاش‌های ادغام شکست خورد، در مقایسه با حدود ۳٫۵٪ از فراخوانی‌های API. ایشوها، GitHub Pages، اعلان‌ها و ورود برای GitHub Apps و اپ‌های OAuth هم خطاهای متناوب دیدند.

چه چیزی خراب شد و چرا؟

یک مخزن اتصال دیتابیس که بسیاری از سرویس‌های github.com از آن استفاده می‌کنند به محدودیت خود رسید و چند دقیقه هیچ اتصالی در دسترس نبود. درخواست‌های جدیدی که به اتصال نیاز داشتند تا پایان مهلت اتصال منتظر ماندند و سپس شکست خوردند.

مخزن پیش‌تر نزدیک ظرفیت کار می‌کرد که برخی درخواست‌های به‌روزرسانی شروع کردند اتصال‌هایشان را بسیار بیشتر از حد انتظار نگه دارند. هر کدام شروع به نوشتن یک تغییر می‌کرد و سپس یک جست‌وجوی جداگانه اجرا می‌کرد که می‌توانست چند ثانیه طول بکشد و در تمام این مدت اتصالش را رزرو اما بی‌استفاده نگه می‌داشت. با فضای اندک باقی‌مانده، این اتصال‌های نگه‌داشته‌شده به سرریز شدن مخزن کمک کردند.

چگونه پاسخ دادیم؟

- درخواست‌ها همهٔ اتصال‌های مخزن مشترک دیتابیس را مصرف کردند و درخواست‌ها در سراسر github.com شروع به شکست کردند.

- پس از دیدن شکست‌ها حادثه اعلام کردیم و به مهندسان کشیک سرویس‌های تحت تأثیر پیام دادیم.

- مخزن تخلیه شد و نرخ خطا به حالت عادی بازگشت. کمی بعد تأیید کردیم که پر شدن کامل مخزن اتصال علت خطاها بوده و یک به‌روزرسانی عمومی وضعیت منتشر کردیم.

- تأیید کردیم که اتصال‌های دیتابیس به حالت عادی بازگشته‌اند و پس از پایش برای اطمینان از پایداری، حادثه را حل‌شده اعلام کردیم.

چگونه حوادثی مانند این را کم‌احتمال‌تر یا کم‌تأثیرتر می‌کنیم؟

- اکنون جست‌وجوی کند را پیش از آن‌که این درخواست‌های به‌روزرسانی شروع به نوشتن تغییر کنند اجرا می‌کنیم تا دیگر هنگام انتظار، اتصال دیتابیس را نگه ندارند.

- در حال بررسی محدودیت‌هایی برای مدت نگه‌داشتن یک اتصال دیتابیس از مخزن هستیم تا الگوی درخواست کند کمتر احتمال داشته باشد مخزن را اشغال کند.

برای به‌روزرسانی‌های لحظه‌ای دربارهٔ تغییرات وضعیت و مرورهای پس از حادثه، صفحهٔ وضعیت ما را دنبال کنید. برای آگاهی بیشتر از کارهایی که روی آن‌ها کار می‌کنیم، بخش مهندسی در وبلاگ GitHub را ببینید.

برچسب‌ها:

نوشتهٔ

نوشته‌های مرتبط

GitHub Universe 2026: تکامل هر لایه از پشته

امروز چشم‌انداز خود را برای GitHub ترسیم کردیم تا جامع‌ترین و سرتاسری‌ترین سیستم تحویل نرم‌افزار در جهان باشد.

Octoverse: کامیت‌ها و pushها در ۲۰۲۶ هم‌زمان با ساخت نرم‌افزار توسط توسعه‌دهندگان با عامل‌ها به رکوردهای تازه رسیدند

ببینید چگونه یک سال رکوردشکن رشد در گزارش Octoverse 2026 به هر صنعت، هر حوزه و هر نوع سازنده‌ای رسید.

رابط کاربری بعدی توسعه‌دهنده، هوش محیطی است

هوش مصنوعی، عامل‌ها، صدا و کنترل‌های فیزیکی، توسعهٔ نرم‌افزار را از کار با ابزارها به بیان قصد تغییر می‌دهند و به توسعه‌دهندگان کمک می‌کنند روی ساخت تمرکز بمانند.

منبع: GitHub Blog

متن و تصاویر اصلی از منبع بالا. ترجمه و ویرایش در دیجیتال سرآمد.