آخرین باری که در سال ۲۰۲۲ دربارهٔ خط لولهٔ انتشار DNS خود نوشتم، Zone Builder حدود ۲۵۰ تغییر رکورد DNS در ثانیه دریافت میکرد. امروز حدود ۷۰۰ تغییر دریافت میکند، تقریباً سه برابر، بهعلاوهٔ حدود ۱۰۰ رویداد دیگر مانند تغییر تنظیمات زون. با این حال، تعداد رویدادها هرگز مشکل اصلی نبود. مشکل، نوع کاری بود که برخی از این رویدادها لازم داشتند و اینکه آن کار چگونه با اندازهٔ زون رشد میکند. برخی زونها اکنون بیش از ۲۰ میلیون رکورد دارند و انتظار داریم به سمت صدها میلیون رکورد رشد کنند.
هر رویداد ساعتی را به راه میاندازد که اندازه میگیرد چقدر طول میکشد تا آن تغییر را به دادهای تبدیل کنیم که سرورهای DNS معتبر ما بتوانند استفاده کنند. ما به این کار «ساخت» میگوییم. ساخت، وضعیت فعلی پایگاه داده را میخواند، آن را به قالبی که در لبه استفاده میشود تبدیل میکند و هر تغییری را در Quicksilver مینویسد.
در سال ۲۰۲۲، ساختهای بهازای هر رکورد بهطور میانگین ۱۵۰ برابر سریعتر از ساختهای کامل بودند. روی یک زون آزمایشی با یک میلیون رکورد، ساختهای بهازای هر رکورد ۴٬۲۵۰ برابر سریعتر بودند. آن نوشته را با گام بعدی بدیهی به پایان رساندیم: همین کار را برای تنظیمات زون انجام دهیم.
چرا Zone Builder فقط تنظیمی را که تغییر کرده بازسازی نمیکند؟
باید همین کار را میکرد و در نهایت به همینجا رسیدیم. اما بیشتر کار صرف اثبات این شد که چه زمانی این کار ایمن است. یک رویداد رکورد مشخص میکند چه چیزی تغییر کرده است. یک رویداد زون میتواند از بسیاری از محصولات Cloudflare بیاید، ممکن است دلیل تغییر زون را نگوید و میتواند دادهای را تغییر دهد که چند زون همنام با هم شریکاند. انتخاب کار بیش از حد، ظرفیت را هدر میدهد. انتخاب کار کمتر از حد لازم میتواند دادهٔ DNS قدیمی یا نادرست را در لبه باقی بگذارد.
ما یک برنامهریز ساخت هدفمند ساختیم که کوچکترین ساختی را انتخاب میکند که بتوانیم ایمن بودنش را اثبات کنیم، و یک زمانبند جدید که کار مربوط به یک زون را با هم ترکیب میکند. تغییرات تنظیمات زون دیگر زونهایی با دهها میلیون رکورد را بازسازی نمیکنند. این دو با هم حافظهٔ اوج را ۸۵٪ کاهش دادند و فضای اضافی به ما اجازه داد با خیال راحت انتظارهایی را که خط لوله همیشه برای تابآوری لازم داشت کوتاهتر کنیم؛ در نتیجه زمان از تغییر DNS تا نوشتهشدن دادهاش در Quicksilver نصف شد.
چگونه تغییرات DNS به لبه میرسند
زون DNS مجموعهٔ رکوردها و تنظیمات یک دامنه است. Cloudflare از یک خط لولهٔ چندمرحلهای استفاده میکند تا تغییر در آن زون را به دادهای تبدیل کند که در سراسر شبکهٔ جهانی ما در دسترس باشد.
مشتری از طریق API رکوردهای DNS یا داشبورد یک رکورد DNS را تغییر میدهد، یا سرویس دیگری از Cloudflare یک تنظیم زون را تغییر میدهد.
تغییر در یک پایگاه داده ذخیره میشود.
تغییر پایگاه داده یا سیستم دیگری یک رویداد Kafka تولید میکند.
DNS Kafka Aggregator رویدادهای چند تاپیک Kafka را ترکیب میکند و آنها را به Zone Builder میفرستد.
Zone Builder دادهٔ لازم زون را میخواند و آن را به کلیدهایی تبدیل میکند که سرورهای DNS معتبر ما میفهمند.
Zone Builder این کلیدها را با Quicksilver، فروشگاه کلید-مقدار توزیعشدهٔ ما، مقایسه میکند. فقط چیزهایی را مینویسد که تغییر کردهاند و Quicksilver آن تغییرات را در سراسر شبکهٔ Cloudflare منتشر میکند.
این نمای سادهشده است. Zone Builder ردیفهای پایگاه داده را مستقیماً به لبه کپی نمیکند. رکوردها را با تنظیمات زون ترکیب میکند، قواعد سرو DNS را اعمال میکند و نتیجه را طوری سازمان میدهد که سرورهای DNS معتبر ما بتوانند سریع آن را بخوانند.
چرا ساختهای کامل دیگر مقیاس نمیگرفتند
Zone Builder اولیه یک ویژگی مفید داشت: لازم نبود بداند چرا زون تغییر کرده است. وضعیت مطلوب را از وضعیت فعلی پایگاه داده بازسازی میکرد.
زون فعلی و تنظیماتش را بخوان.
همهٔ رکوردهای DNS زون را بخوان.
آن رکوردها را به کلیدهای Quicksilver تبدیل کن.
کلیدهای جدید را با کلیدهایی که از قبل ذخیره شدهاند مقایسه کن.
کلیدهای قدیمی را حذف کن، کلیدهای تغییرکرده را بنویس و فرادادهٔ زون را بهروز کن.
نوشتن نهایی فقط شامل کلیدهای تغییرکرده است. اما یک ساخت کامل همچنان هر رکورد را میخواند، رمزگذاری میکند و مقایسه میکند و در این حین کل زون را در حافظه نگه میدارد. این کار برای یک زون کوچک ارزان است. برای بزرگترین زونهای ما با دهها میلیون رکورد، زون اصلاً در حافظه جا نمیشود. در ادامه توضیح میدهم چگونه با این مسئله روبهرو میشویم.
تنظیمات زون هدفگیری را سختتر کرد. Universal SSL یک نمونه است. فعال یا غیرفعالکردن آن فراداده را بهروز میکند و میتواند رکوردهای Certification Authority Authorization (CAA) را در اپکس زون، یعنی دامنهٔ پایه مانند example.com، تغییر دهد. رکوردهای CAA به مراجع صدور گواهی میگویند آیا میتوانند برای دامنه گواهی صادر کنند یا نه.
یک ساخت کامل فقط لازم بود بداند که زون تغییر کرده است. یک ساخت هدفمند باید به سه پرسش پاسخ دهد:
کدام نامهای DNS میتوانند تغییر کنند؟
آیا فرادادهٔ مشترک یا فهرست زونهای منتشرشده میتواند تغییر کند؟
چه وضعیت قبلی باید از Quicksilver حذف شود؟
پاسخ ایمن به این پرسشها یعنی حل پنج مسئله که بقیهٔ این نوشته به ترتیب به آنها میپردازد:
رویدادها باید بگویند چه چیزی تغییر کرده است.
هر تغییر باید به کوچکترین ساختی که همچنان درست است نگاشت شود.
ساختها باید دادهٔ مشترک میان همهٔ زونهای همنام را در نظر بگیرند.
پایگاه داده میتوانست بین رویداد و ساخت تغییر کند.
ترکیب کار نباید پیام Kafka را از دست بدهد.
رویدادها را به گفتن اینکه چه چیزی تغییر کرده وادار کنیم
تولیدکنندهٔ رویداد را تغییر دادیم تا فیلدها و تنظیمات تغییرکردهٔ زون را، در صورت وجود، همراه با مقادیر قبلی و جدید بگنجاند. سپس هر تنظیم را در کدی که خروجی DNS تولید میکند ردیابی کردیم و دستهبندی کردیم که چه چیزی را میتواند تحت تأثیر قرار دهد.
همهٔ رویدادها اینقدر مشخص نبودند. برخی توابع پایگاه داده فقط یک مُهر زمانی را بهروز میکنند تا در عمل بگویند «چیزی دربارهٔ این زون تغییر کرده است.» گاهی این کار دفترداری بیضرر است. گاهی یعنی داده جای دیگری تغییر کرده و باید دوباره خوانده شود.
این موارد در رویداد یکسان به نظر میرسند. تا زمانی که نتوانیم فراخوان و هدفش را شناسایی کنیم، بهروزرسانی فقط-مُهر-زمانی همچنان باعث ساخت کامل میشود. همین قاعده برای جزئیات ناقص، رویدادهای ناشناخته یا هر تغییری که ممکن است رکوردها را در هر جای زون تحت تأثیر قرار دهد نیز اعمال میشود. برنامهریز هرگز عدم قطعیت را به کار کمتر تبدیل نمیکند.
انتخاب کوچکترین ساخت ایمن
خروجی Quicksilver دو بخش دارد که اینجا اهمیت دارند. کلیدهای رکورد شامل پاسخهای DNS برای یک زون و نام هستند. یک کلید فرادادهٔ مشترک کوچکتر به سرورهای DNS معتبر ما میگوید چگونه از آن زون استفاده کنند، از جمله اینکه رکوردهای ویژه مانند سرورهای نام و wildcard را کجا پیدا کنند. برخی رویدادها فقط کلیدهای رکورد را تغییر میدهند؛ برخی دیگر باید هر دو را بهروز کنند.
با این تمایز، برنامهریز میتواند یکی از پنج نوع ساخت را انتخاب کند:
فقط منابع: رکوردها را در نامهای مشخص DNS، که ما آنها را منابع مینامیم، بدون تغییر فرادادهٔ زون بازسازی کن. تغییرات معمولی A، AAAA، TXT و CNAME معمولاً این مسیر را طی میکنند.
منابع و فراداده: نامهای مشخص و فرادادهٔ مشترک را بازسازی کن. تغییرات سرور نام و wildcard از این مسیر استفاده میکنند.
اپکس و فراداده: اپکس زون و فراداده را بازسازی کن. تنظیماتی مانند Universal SSL میتوانند از این مسیر استفاده کنند.
پاکسازی: زونی را که دیگر نباید منتشر شود حذف کن.
زون کامل: وقتی نمیتوان ایمن بودن کار کوچکتر را اثبات کرد، هر رکورد را بازسازی کن.
قاعده ساده است: هر کلیدی که یک ساخت هدفمند مینویسد باید بایتبهبایت با آنچه یک ساخت کامل مینوشت یکسان باشد. اگر نتوانیم این را اثبات کنیم، ساخت کامل انجام میدهیم.
حذف وضعیت قدیمی همانطور کار میکند که در سال ۲۰۲۲ برای ساختهای بهازای هر رکورد کار میکرد. رویدادهای رکورد شامل رکوردهای حذفشده و نسخهٔ قبلی رکوردهای بهروزشده هستند. سپس Zone Builder Quicksilver را برای کلیدهای موجود زیر هر نامی که بازسازی میکند اسکن میکند و هر کلیدی را که ساخت جدید ننوشته حذف میکند.
ساختهای کامل زمانی همچنان لازماند که یک تغییر بتواند رکوردها را در هر جای زون تحت تأثیر قرار دهد یا زمانی که ممکن است زون برای نخستین بار نیاز به انتشار داشته باشد.
یک استثنای عمدی وجود دارد. یک ساخت کامل هر رکورد پایگاه داده و هر کلید موجود Quicksilver برای زون را همزمان در حافظه نگه میدارد و بزرگترین زونهای ما جا نمیشوند. بالاتر از یک آستانهٔ ثابت تعداد رکورد، Zone Builder هرگز به ساخت کامل ارتقا نمیدهد. در عوض، اپکس، فراداده و هر نامی را که رویدادهای صفشده مشخص کردهاند بازسازی میکند. ما این بدهبستان را میپذیریم چون ساخت کامل آن زونها نمیتواند تمام شود و در حین تلاش مجدد، هر تغییر دیگری را در پارتیشن Kafka خودش متوقف میکند. بسیاری از مواردی که در غیر این صورت به ساخت کامل نیاز داشتند شامل چند زون میشوند که یک نام را شریکاند و قفلهای زون با جلوگیری از افزودهشدن همان نام به حساب دیگر، این ریسک را کاهش میدهند. برای موارد نادر باقیمانده، مانند فعالکردن یک زون در شبکهٔ دیگر، میتوانیم نامهای مشخصی را در زون بهصورت دستی بازسازی کنیم.
وقتی یک نام یعنی بیش از یک زون
Quicksilver کلیدهای رکورد هر زون را جداگانه ذخیره میکند. همچنین یک کلید فراداده را ذخیره میکند که میان همهٔ زونهای Cloudflare با آن نام دامنه مشترک است. این کلید مشترک مانند یک فهرست راهنما عمل میکند: به سرورهای DNS معتبر ما میگوید هنگام پاسخ به یک پرسوجو میتوانند از کدام شناسههای داخلی زون استفاده کنند.
چرا یک نام میتواند چند شناسهٔ زون داشته باشد؟ در طول ورود، خروج و سایر تغییرات چرخهٔ عمر مشتری، چند شیء زون Cloudflare میتوانند بهطور موقت برای همان دامنهٔ عمومی وجود داشته باشند. ما از یک سیاست اولویت استفاده میکنیم تا مجموعهای کوچک و محدود را برای انتشار انتخاب کنیم.
چهار زون داخلی برای example.com در نظر بگیرید: زون ۱۰۱، زون ۲۰۲، زون ۳۰۳ و زون ۴۰۴. کلید فراداده در حال حاضر زونهای ۱۰۱، ۲۰۲ و ۳۰۳ را فهرست میکند. زون ۴۰۴ وجود دارد اما انتخاب نشده است. این اعداد اشیاء زون جداگانهٔ Cloudflare را مشخص میکنند؛ مشتریان همچنان یک نام دامنه میبینند.
تغییر یک رکورد TXT در www.example.com در زون ۲۰۲ فقط کلیدهای رکورد زون ۲۰۲ را تحت تأثیر قرار میدهد، بنابراین کلید فراداده تغییر نمیکند. تغییرات سرور نام و wildcard متفاوتاند چون کلید فراداده اطلاعات مربوط به آنها را ثبت میکند. آن ساختها باید هم رکوردهای زون و هم کلید فراداده را بهروز کنند.
در زمان اجرا، Zone Builder فهرست فعلی را دوباره میخواند. اگر کلید فراداده را بنویسد، کل کلید را از آن نمای تازه بازسازی میکند نه اینکه نسخهٔ قدیمیتر را وصله کند. رکوردهای زون محرک را پیش از فرادادهای که به آنها اشاره میکند مینویسد.
برنامهریزی از رویداد، تأیید پیش از نوشتن
یک رویداد توصیف میکند که در گذشته چه اتفاقی افتاده است. یک ساخت ممکن است منتظر بماند تا رویدادهای بیشتری برسند و پایگاه داده تغییر کند، بنابراین برنامهریزی دو بار انجام میشود. رویداد ابتدا یک فهرست کار محافظهکارانه میسازد. بلافاصله پیش از اجرا، Zone Builder یک عکس فوری تازه از انتشار میخواند: تنظیمات فعلی زون، اینکه آیا این Zone Builder باید زون را در شبکهٔ خود منتشر کند، و کدام شناسههای زون همنام باید در کلید فراداده باشند. در اینجا، شبکه یک نسخهٔ جداگانه و ایزوله از Quicksilver برای یک محیط است. هر استقرار Zone Builder در یک شبکه مینویسد و یک زون میتواند در برخی شبکهها فعال باشد و در برخی دیگر نه. برای مثال، یک زون میتواند از شبکهٔ جهانی Cloudflare و همچنین از China Network سرو شود.
وضعیت تازه میتواند نتیجه را به چهار شکل تغییر دهد:
یک ساخت هدفمند میتواند به ساخت کامل تبدیل شود اگر زون اکنون ویژگیای داشته باشد که به کار کلزون نیاز دارد.
یک ساخت میتواند به پاکسازی تبدیل شود اگر زون دیگر نباید در این شبکه منتشر شود.
یک ساخت میتواند رد شود اگر زون محرک دیگر به کلید فراداده تعلق نداشته باشد.
یک ساخت فراداده میتواند کلید مشترک را از مجموعهٔ نامزدهای فعلی بازسازی کند.
خواندن تازه از نسخههای فقطخواندنی پایگاه داده انجام میشود که به آنها replica میگویند، تا ساختها با نوشتنهای مشتری رقابت نکنند. تحویل Kafka و تکثیر پایگاه داده مستقل از هم پیش میروند: یک رویداد میتواند پیش از آنکه تغییر پایگاه دادهاش روی یک replica دیده شود برسد. DNS Kafka Aggregator رویدادها را بهاندازهٔ کافی به تأخیر میاندازد تا تأخیر معمول را پوشش دهد و یک بررسی نهایی پایگاه داده، اگر آن replica هنوز عقب باشد، خواندن را رد میکند.
ترکیب تغییرات در یک زمانبند
کار رکورد و کار کلزون پیشتر از زمانبندهای متفاوتی استفاده میکردند. هر کدام میتوانست کار خودش را ترکیب کند، اما نه کار زمانبند دیگر را. ما آنها را با یک زمانبند یکپارچه جایگزین کردیم. برنامهریز تصمیم میگیرد چه چیزی باید ساخته شود و زمانبند تصمیم میگیرد چه زمانی میتواند اجرا شود.
وقتی چند رویداد برای یک زون پیش از شروع یک ساخت میرسند، زمانبند کارشان را ترکیب میکند:
یک رکورد A در www.example.com تغییر میکند و آن نام را لازم دارد.
یک رکورد wildcard در *.example.com تغییر میکند و آن نام و فرادادهٔ مشترک را لازم دارد.
زمانبند هر دو نام و بهروزرسانی فراداده را در یک ساخت ترکیب میکند.
ادغام فقط کار اضافه میکند. اگر هر رویدادی زون کامل را لازم داشته باشد، ساخت ترکیبی به ساخت کامل تبدیل میشود. پاکسازی بر هر بازسازیای اولویت دارد چون نتیجهٔ مطلوبش این است که زون دیگر منتشر نشود.
زمانبند دو چیز را جداگانه ردیابی میکند: کار DNS که باید انجام شود و پیامهای Kafka که منتظر تأیید هستند. تلاش مجدد هر دو را حفظ میکند. حتی وقتی یک ساخت کامل یا پاکسازی دیگر به نامهای رکورد جداگانه نیاز ندارد، پیامها تا زمانی که نتیجه با خیال راحت نوشته شود پیوست میمانند.
Kafka را به حرکت نگه داریم
یک ساخت کند میتواند مشتریان نامرتبط را به تأخیر بیندازد حتی وقتی کارگرها در دسترساند. Kafka پیامها را به پارتیشنهای مرتب تقسیم میکند. برای هر پارتیشن، یک آفست کامیتشده ذخیره میکند: نقطهای که پیش از آن همهٔ پیامها کامل شدهاند. حرکت دادن آن آفست از روی کار ناتمام میتواند پس از راهاندازی مجدد، یک تغییر مشتری را از دست بدهد.
ما از کامیت نرم استفاده میکنیم که پیشتر در نوشتهٔ Secondary DNS deep dive توضیح داده بودم. یک ساخت میتواند خارج از نوبت تمام شود و در حافظه کامل علامت بخورد، اما موقعیت کامیتشدهٔ Kafka فقط پس از آنکه همهٔ پیامهای قبلی هم تمام شدند پیش میرود.
در نمودار، پیام ۲ هنوز در حال اجراست، بنابراین پیامهای ۳ تا n نمیتوانند کامیت شوند. اگر Zone Builder راهاندازی مجدد شود، آن تکمیلهای درونحافظهای ناپدید میشوند و Kafka پیامهای ۲ تا n را دوباره پخش میکند. ما عمداً کار تکراری را به از دست دادن یک تغییر ترجیح میدهیم.
برنامههای هدفمند مدت زمانی را که قدیمیترین پیام ناتمام میماند کاهش میدهند. زمانبند همچنین مانع میشود که یک زون شلوغ همهٔ کارگرها را بگیرد. پس از ساخت یک زون، ساخت بعدیاش منتظر یک فاصلهٔ بازسازی بهازای هر زون میماند که بسته به پلن Cloudflare متفاوت است. تغییراتی که در این فاصله میرسند در آن ساخت بعدی ادغام میشوند. زمانبند معمولاً این فاصله را اعمال میکند، اما اجازه میدهد کار قدیمی صفشده پیش از آنکه یک پارتیشن Kafka را برای مدت طولانی مسدود کند اجرا شود. قفلهای زون و تأخیرهای تلاش مجدد همچنان اعمال میشوند، بنابراین یک ساخت ناموفق نمیتواند در حلقهٔ تنگ اجرا شود.
انتشار ایمن
یک ساخت کوچکتر فقط وقتی مفید است که همان دادهٔ DNS را تولید کند. ما آزمونهای همارزی برای مسیرهای سرور نام، wildcard و اپکس اضافه کردیم. هر آزمون یک ساخت کامل و یک ساخت هدفمند را از همان وضعیت پایگاه داده اجرا میکند، مقادیر وابسته به زمان را ثابت میکند و هر کلید Quicksilver متعلق به برنامهٔ هدفمند را بایتبهبایت مقایسه میکند. آزمونهای برنامهریز و زمانبند دستهبندی، زونهای همنام، ادغام، پاکسازیها و ارتقا را پوشش میدهند.
در طول rollout، ما همچنین یک ساخت کامل را کنار هر ساخت هدفمند اجرا کردیم و خروجی را مقایسه کردیم. این کار بنا به طراحی گران بود چون هر بار کل زون را میخواند، بنابراین فقط تا زمانی از آن استفاده کردیم که مقایسهٔ آینه در ادامه همین اطمینان را به ما داد.
آزمونها نمیتوانند هر ترکیب مشتری را بازتولید کنند، بنابراین هر انتشار از یک Zone Builder آینه هم عبور میکند. این نمونه جریان تولید Kafka را مصرف میکند و وضعیت پایگاه دادهٔ تولید را میخواند، اما در یک محیط جداگانهٔ Quicksilver مینویسد که هیچ ترافیک مشتری را سرو نمیکند.
یک مقایسهگر نمونهای ۲۰٪ از زونها را برای کلیدهای گمشده، کلیدهای اضافی و مقادیر متفاوت بررسی میکند. این دو محیط همیشه یک زون را در همان لحظه نمیسازند، بنابراین یک ناسازگاری موقت بهطور خودکار پسرفت نیست. ما به دنبال انواع جدیدی از تفاوتها میگردیم که پس از رسیدن هر دو خط لوله باقی میمانند. این به ما اطمینان میدهد که ساختهای هدفمند همان خروجی تولید را تولید میکنند.
ما DNS Mirror Dashboard را ساختیم تا آن تفاوتها را گروهبندی کند و نمونههایی برای بررسی نگه دارد. طبیعتاً این داشبورد روی Cloudflare Developer Platform اجرا میشود: یک Worker نتایج را دریافت میکند، Durable Objects وضعیت را نگه میدارند و Cloudflare Access از آن محافظت میکند. گروههای بحرانی در تصویر زیر هر کدام پیش از انتشار بررسی و ایمن تأیید شدند. نرخ تفاوت، سهم زونهای مقایسهشدهای است که تولید و آینه در لحظهٔ مقایسه دستکم در یک کلید اختلاف داشتند. بیشتر اینها تفاوتهای زمانی هستند که پس از رسیدن هر دو خط لوله از بین میروند، بنابراین دو چیز را زیر نظر داریم: اینکه نرخ پایین بماند و اینکه هیچ نوع جدیدی از تفاوت ظاهر نشود.
پس از آنکه نتایج آینه سالم ماند، زمانبند را بر اساس هش نام زون rollout کردیم. هش کردن نام بهجای شناسهٔ زون باعث شد هر زونی که یک نام را شریک است روی همان زمانبند بماند، تا دو زمانبند هرگز همان کلید فراداده را ننویسند. درصد را برای زونهای رایگان افزایش دادیم، سپس همین فرایند را برای زونهای پولی تکرار کردیم.
نتایج
در طول ۲۴ ساعت، ۸۶٫۸۱٪ از ساختها را فقط منابع، ۲٫۵۴٪ را منابع و فراداده، ۲٫۳۰٪ را اپکس و فراداده و ۱٫۳۰٪ را پاکسازیها اندازه گرفتیم. در مجموع، ۹۲٫۹۵٪ از ساختها از بازسازی کل زون اجتناب کردند. ساختهای کامل ۷٫۰۴٪ باقیمانده بودند.
دو نوع ساخت فراداده پیشتر، حتی برای زونهای بزرگ، ساخت کامل بودند. این دو با هم ۴٫۸۴٪ از ساختها را تشکیل میدهند. با احتساب ۷٫۰۴٪ که همچنان ساخت کاملاند، مجموع ۱۱٫۸۸٪ میشود، بنابراین سهم ساختهای کامل حدود ۴۰٪ کاهش یافت. سهم آنها از تعداد، کار اجتنابشده را نیز کمنمایی میکند چون زونهای بزرگتر را در بر میگیرد. ساختهای کاملی که باقی میمانند بهطور میانگین ۰٫۳۵ ثانیه طول میکشند، چون رویدادهایی که هنوز آنها را تحریک میکنند، مانند انتشار نخستین یک زون، بیشتر بر زونهای جدید با رکوردهای کم اثر میگذارند.
در سال ۲۰۲۲، ما یک سیستم دستهبندی هم برنامهریزی کرده بودیم. زمانبند یکپارچه آن را غیرضروری میکند: برای تشکیل دستهها صبر نمیکند و رویدادها را فقط زمانی ادغام میکند که کار از قبل برای همان زون در صف باشد. پیشتر، ساختهای کامل طولانی، آفست کامیتشدهٔ پارتیشن خود را متوقف میکردند. با کاهش تعداد آنها، اکنون Kafka را با همان نرخی که رویدادها میرسند مصرف میکنیم، بهجای آنکه عقب بمانیم و در انفجارهایی تا ۱٬۵۵۰ پیام در ثانیه جبران کنیم.
ما تأخیر تکمیل ساخت را هم اندازه گرفتیم: زمان از تغییر یک رکورد DNS یا تنظیم زون تا پایان نوشتن Zone Builder در Quicksilver. این شامل توزیع Quicksilver در شبکهٔ ما نمیشود که بسته به مکان متفاوت است و از این کار تأثیر نمیپذیرد. تولید زمانبندهای قدیمی را اجرا میکرد و آینه زمانبند یکپارچه را روی همان رویدادها در همان ۲۴ ساعت اجرا میکرد. این دو محیط جز کد یکساناند: همان رویدادهای Kafka را مصرف میکنند، از همان پایگاه داده میخوانند و دادهٔ معادل را در Quicksilver مینویسند. این مقایسه را به یک مقایسهٔ همزمان و کنترلشده تبدیل میکند. ارقام همهٔ انواع ساخت و پلنهای مشتری را ترکیب میکنند، بنابراین تضمین تأخیر برای یک زون خاص نیستند. سهم بزرگی از این زمان، فاصلهٔ بازسازی است که پیشتر توضیح داده شد، نه کار ساخت. در هر نقطهٔ اندازهگیری، صدک ۹۹ زمانی است که ۹۹٪ رویدادها در آن تمام شدهاند. تأخیرهای معمول اینجا تقریباً تغییری نکردند، چون بیشتر ساختها از قبل کوچک بودند. تفاوت در دنباله است: بزرگترین جهش صدک ۹۹ از ۱۴٫۶ دقیقه به ۱٫۲۱ دقیقه رسید، کاهشی ۱۲ برابری. نمودار از مقیاس لگاریتمی استفاده میکند.
ساختهای هدفمند همچنین زونهای بزرگ کامل را بسیار کمتر بارگذاری میکنند. حافظهٔ مجموعهٔ کاری تجمعی، یعنی حافظهای که استقرار عملاً استفاده میکند، از میانگین ۴۹ GiB به ۷ GiB رسید، کاهشی ۸۶ درصدی. اوجها از ۷۹ GiB به ۱۲ GiB رسید، کاهشی ۸۵ درصدی.
اینها نتایج فوری زمانبند جدید بودند. آنها همچنین به ما اجازه دادند دو محافظ را بازبینی کنیم. اولی فاصلهٔ بازسازی است که مانع میشود یک زون شلوغ مدام بازسازی شود و ظرفیت را از دیگران بگیرد. با ارزانتر شدن ساختها و بسیار کمتر شدن ساختهایی که کل زون را میخوانند، توانستیم با خیال راحت آن فاصله را در بیشتر پلنها کوتاهتر کنیم. دومی مدت زمانی است که DNS Kafka Aggregator هر رویداد را نگه میدارد تا مطمئن شود replicaهای پایگاه داده پیش از خواندن ما بهروز شدهاند. وقتی پایگاههای دادهٔ ما شروع به رد خواندن از replicaهای عقبمانده کردند، آن بافر میتوانست با خیال راحت کوچکتر باشد. این دو با هم تأخیر میانهٔ تکمیل ساخت را از حدود ۷٫۷ ثانیه به حدود ۳٫۳ ثانیه نصف کردند. در نمودار زیر، اولین پلهٔ نزولی تغییر DNS Kafka Aggregator است. نوار قرمز انتشار Zone Builder با فاصلههای بازسازی کوتاهتر را نشان میدهد. آن انتشار بهتدریج روی سرورهای ما rollout شد، بنابراین تأخیر در دو پلهٔ دیگر پایین میآید نه یکباره.
خطوط صدک ۹۰ و صدک ۹۹ در آن نمودار کمتر از آنچه به نظر میرسند دقیقاند. هیستوگرام باکتهایی در ۱، ۵، ۱۰ و ۳۰ ثانیه داشت و صدکی که بین دو لبه میافتد طوری تخمین زده میشود که گویی تأخیرها بهطور یکنواخت در آن بازه پخش شدهاند. بیشتر تأخیرها نزدیک پایین بازهٔ خود قرار دارند، بنابراین آن تخمینها بالا درمیآیند: صدک ۹۹ نزدیک ۳۰ ثانیه و صدک ۹۰ بالای ۷ ثانیه خوانده میشود. میانگین دقیق، که به باکتها وابسته نیست، نصفشدن را تأیید میکند. از آن زمان به هیستوگرام بومی روی آوردهایم که باکتهای ریزدانه را بهطور خودکار انتخاب میکند. این هیستوگرام صدک ۹۰ را حدود ۵٫۵ ثانیه و صدک ۹۹ را حدود ۱۲ ثانیه قرار میدهد.
چرا ساختهای کامل هنوز وجود دارند
در سال ۲۰۲۲ گفتیم قصد داریم ساختهای کامل را کاملاً حذف کنیم. اکنون میدانیم که این نه واقعبینانه است و نه مفید. زونی که برای نخستین بار منتشر میشود باید هر رکوردش نوشته شود. تغییری که میتواند رکوردها را در هر جای زون تحت تأثیر قرار دهد باید هر رکورد را بررسی کند. رویدادی که نمیگوید چه چیزی تغییر کرده همچنان ساخت کامل میگیرد، چون برنامهریز هرگز عدم قطعیت را به کار کمتر تبدیل نمیکند. برای یک زون کوچک، ساخت کامل ارزان هم هست.
همانطور که یاد میگیریم رویدادهای بیشتری چه چیزی را تغییر میدهند، آنها را به ساختهای هدفمند منتقل میکنیم. اما بزرگترین دستاورد پیشتر محقق شده است: رویدادهایی که قبلاً بزرگترین زونهای ما را بازسازی میکردند دیگر این کار را نمیکنند و ساختهای کاملی که باقی میمانند بیشتر توسط رویدادهایی مانند انتشار نخستین تحریک میشوند که بر زونهای جدید و کوچک اثر میگذارند.
میخواهید بدانید پس از آنکه Zone Builder تغییری را مینویسد چه اتفاقی میافتد؟ بخوانید که Quicksilver چگونه پیکربندی را در چند ثانیه به همهٔ مراکز دادهٔ Cloudflare توزیع میکند.



