وقتی یک پخشکننده ویدیو میخواهد به وسط فیلم بپرد، فقط چند مگابایت درخواست میکند. در روش قدیمی کش کردن درخواستهای بازهای، همین یک درخواست میتوانست کلادفلر (Cloudflare) را وادار کند ۱۲۸ مبیبایت از مبدأ (origin) دریافت کند و آن را بین مراکز داده جابهجا کند؛ گاهی حتی پس از آنکه بیننده صفحه را ترک کرده بود. درخواستهای بازهای همان روشی هستند که فایلهای بزرگ با آنها تحویل داده میشوند و کش کردن سادهلوحانهشان، وقتی یک CDN در مقیاس بزرگ کار میکند، بهراحتی به هدر رفتن پهنای باند شبکه و عملیات دیسک منجر میشود.
به همین دلیل، نحوهٔ برخورد کش خود با این درخواستها را از نو ساختیم. برای R2، سرویس ذخیرهسازی شیئی Cloudflare، زمان تا اولین بایت صدک ۹۹ (p99 TTFB) حدود نصف شد و یک بهبود بعدی، ترافیک کش لایهای (tiered cache) را برای R2 و بارهای کاری مشابه حدود ۶٪ کاهش داد.
امروز این پیادهسازی جدید را با نام Origin Range Requests در دسترس همه قرار میدهیم؛ ویژگیای خودخدمت که در همهٔ طرحها ارائه میشود. لازم نیست اندازهٔ بازه را تنظیم کنید و نیازی به تماس با پشتیبانی نیست. آن را با یک Cache Rule فعال کنید و بقیهٔ کارها را Cloudflare انجام میدهد.
درخواست بخشی از یک فایل
درخواست بازهای HTTP بهجای کل یک منبع، بخشی از آن را میخواهد. کلاینت یک GET معمولی همراه با هدر Range میفرستد:
GET /movie.mp4 HTTP/1.1
Host: example.com
Range: bytes=1048576-2097151اگر سرور از این درخواست پشتیبانی کند، پاسخ 206 Partial Content را برمیگرداند و بایتهای بازگرداندهشده را با هدر Content-Range مشخص میکند:
HTTP/1.1 206 Partial Content
Content-Range: bytes 1048576-2097151/524288000
Content-Length: 1048576درخواستهای بازهای برای اشیای بزرگ رایجاند. یک پخشکننده ویدیو میتواند بایتهای اطراف نقطهٔ پرش را درخواست کند، نه کل فایل را. یک مدیر دانلود میتواند دانلود را پس از قطع شدن از سر بگیرد. یک مدیر بسته میتواند بخشی از یک فایل نرمافزاری را دریافت کند. یک کلاینت میتواند انتهای فایل را بررسی کند، بدون آنکه همهٔ محتوای پیش از آن را دانلود کند.
تصمیم دربارهٔ درخواست بازهای با کلاینت است و Cloudflare آن درخواست را تغییر نمیدهد. در عوض، Origin Range Requests نحوهٔ پاسخ دادن Cloudflare به آن را تغییر میدهد.
مشکل اندازهٔ بازه
Cloudflare سالهاست کش کردن درخواستهای بازهای را از طریق پیکربندی ایستا در ناحیه (zone) پشتیبانی میکند.
پیادهسازی قبلی شبیه برش کش (cache slicing) بود که در نوشتهای در وبلاگ nginx توصیف شده است: هر درخواست کلاینت به بازههایی با اندازهٔ ثابت از فایل نگاشت میشد و اندازهٔ بازه و پسوندهای فایل برای هر ناحیه پیکربندی میشد.
اندازهٔ هر بازه یک بدهبستان ایجاد میکرد: بازههای کوچک به درخواستهای کوچک و متعدد به مبدأ و فشار حافظه بر Cloudflare بهدلیل ادغام همهٔ درخواستها در حافظه منجر میشد، در حالی که بازههای بزرگ باعث میشد Cloudflare بسیار بیشتر از آنچه کلاینت خواسته بود دانلود کند. تغییر خودِ اندازهٔ بازه هم ورودیهای کش را بیاعتبار میکرد، چون اندازه بخشی از کلید کش بود.
این طراحی همچنین باعث میشد افرادی که محتوا را از طریق شبکهٔ ما درخواست میکنند، تجربهٔ ناخوشایندی در دسترسی به این فایلها داشته باشند. درخواستهای همزمانی که در یک بازه قرار میگرفتند، هرچقدر هم که بازهٔ درخواستی هر کلاینت از دیگری دور بود، میتوانستند یکدیگر را مسدود کنند. کش مبتنی بر nginx ما هم نمیتوانست کش کردن بازهای را با پخش همزمان (concurrent streaming) ترکیب کند؛ قابلیتی که ساخته بودیم تا چند کلاینت بتوانند فایلی را از کش بخوانند در حالی که هنوز در حال نوشتن است. فعال کردن همزمان این دو باعث قطع شدن پاسخها میشد، بنابراین هر بازه باید کاملاً دانلود میشد تا کسی بتواند آن را بخواند و فایلهای پرطرفدار برای هر بازه به یک واکشی جداگانه از مبدأ نیاز داشتند.
بایتهای اضافی میتوانستند از چند بخش از کش توزیعشدهٔ ما هم عبور کنند: از مبدأ به یک مرکز داده، بین لایههای کش و سپس به سمت کلاینت. هر گام، هدر رفتن را چند برابر میکرد. هیچ مقداری برای یک پرش کوچک، یک دانلود متوالی، یک فایل رسانهای بزرگ و همهٔ توپولوژیهای مبدأ و کش به یک اندازه خوب کار نمیکند.
محدودیتهای داخلی کش ما مستقیماً به مشتریان نشان داده میشد؛ مشتریانی که نباید برای سرو شدن کارآمد فایلها، به درک عمیق تواناییهای ما نیاز داشته باشند.
خوشبختانه، گذار ما از nginx به سرور کش مبتنی بر Pingora فرصتی ایجاد کرد تا مشکلات پیادهسازی را که تنظیمی دشوار را به مشتریان تحمیل کرده بود، برطرف کنیم.
قطعههای کش با اندازهٔ ثابت
راهحل از کاری آمد که Pingora از قبل انجام میداد. برای آسان کردن از سرگیری دانلودهای قطعشده، Pingora هر فایل کششده را روی دیسک در قطعههایی با اندازهٔ ثابت ذخیره میکند. اگر کش از قبل بر اساس قطعه فکر میکند، اندازهٔ بازه اصلاً نیازی به تنظیم ندارد؛ میتواند همان اندازهٔ قطعه باشد!
برای یک درخواست بازهای، Cloudflare بررسی میکند کدام بایتهای درخواستی از قبل در کش هستند. آن بایتها را مستقیماً سرو میکند. برای بایتهای موجودنبوده، بازههایی از مبدأ را واکشی میکند که با مرزهای قطعههای ثابت کش همتراز باشند، نتیجه را در همان قطعههایی ذخیره میکند که برای ذخیرهسازی معمولی کش استفاده میشود و فقط بایتهای درخواستی کلاینت را برمیگرداند.
برای مثال، درخواست بایتهای ۱۵۰ تا ۲۵۰ میتواند باعث شود Cloudflare قطعهٔ همتراز حاوی آن بایتها را واکشی کند. پاسخ به سمت پاییندست همچنان فقط شامل ۱۵۰ تا ۲۵۰ است.
این کار کار اضافی را برای درخواستهای کوچکتر از اندازهٔ قطعهٔ ما حذف نمیکند؛ چنین درخواستی همچنان ممکن است نیازمند واکشی کل قطعهٔ حاوی آن باشد. ما همچنین هزینهٔ کار بیشتر برای بازههای غیرهمتراز را میپذیریم. تفاوت این است که کار اضافی محدود و قابل پیشبینی است و دیگر با اندازهٔ بازهای که مشتری انتخاب میکند تعیین نمیشود؛ اندازهای که میتواند اثرهای غیرقابل پیشبینی بر ما و مبدأها بگذارد.
هماهنگ کردن دادههای کششده و در حال انتقال
تجزیه و تحلیل هدر Range ساده است. مشکل دشوارتر، تولید یک پاسخ درست است وقتی بایتهای درخواستی بین دادههای کششده، یک پاسخ مبدأ و دانلودهای در حال انجام تقسیم شدهاند.
در سطح کلی، لبه (edge):
سرآیندهای دارایی و فرادادهٔ پوشش بازه را جستوجو میکند.
هر بخشی از دارایی را که میتواند، از دیسک یا از جریان در حافظه میخواند.
پوشش موجودنبوده را با بازههای همتراز از مبدأ واکشی میکند.
بایتهای جدید را مینویسد و بازهٔ تکمیلشده را در فراداده ثبت میکند.
قطعهها را ترکیب میکند و Content-Range و Content-Length را برای پاسخ کلاینت تنظیم میکند.
این یک هماهنگکننده است، نه یک جستوجوی واحد در کش. یک درخواست میتواند از یک پیشوند کششده، یک دانلود در حال انجام و یک پسوند تازه واکشیشده استفاده کند. پاسخ داخلی مبدأ میتواند بزرگتر از پاسخ به سمت پاییندست باشد، اما وضعیت و سرآیندهای سمت پاییندست فقط بازهٔ درخواستی را توصیف میکنند.
اگر یک دانلود موجود بایتهای درخواست دیگری را پوشش دهد، درخواست دوم میتواند به آن دانلود متصل شود، بهجای آنکه واکشی دیگری از مبدأ را آغاز کند. این کار، کار را در زمان هجوم درخواستها برای فایلهای بزرگ پرطرفدار به اشتراک میگذارد.
این طراحی از مدل دادهٔ موجود کش استفاده میکند. سرآیندها نسخهٔ دارایی را مشخص میکنند، بدنه در قطعههای محدود ذخیره میشود و فراداده ثبت میکند کدام بازهها با موفقیت نوشته شدهاند.
پیش از ترکیب، اعتبارسنجی کنید
پاسخهای بازهای ترکیبی فقط زمانی معتبرند که همهٔ بایتها به یک نمایش (نسخه منبع) یکسان تعلق داشته باشند. هماهنگکننده بررسی میکند که هر پاسخ مبدأ با بازهٔ درخواستی مطابقت دارد، اندازهٔ کل دارایی پایدار است و برچسب موجودیت (ETag) در طول درخواستهای فرعی ثابت میماند.
هدر If-Range به کلاینت اجازه میدهد بازهای را فقط در صورتی درخواست کند که نمایش همچنان با یک اعتبارسنج شناختهشده مطابقت دارد. اگر مطابقت نداشته باشد، Cloudflare بهجای ترکیب بایتها از نسخههای مختلف، کل نمایش را برمیگرداند.
Cloudflare همچنین از ترکیب بازهها برای نمایشی که در شرف decompress کردن آن است پرهیز میکند، چون بازه روی مجموعهای از بایتهای فشرده با بازهای که در پاسخ decompressشده انتخاب میشود متفاوت خواهد بود. در این موارد، Cloudflare پاسخ کامل تبدیلشده را سرو میکند، بهجای آنکه بازهای را اعلام کند که نمیتواند درست به آن عمل کند.
رفتار حاصل، HTTP استاندارد است:
یک بازهٔ قابل ارضا، پاسخ 206 Partial Content با Content-Range دقیق دریافت میکند.
یک بازهٔ غیرقابل ارضا، پاسخ 416 Range Not Satisfiable دریافت میکند.
پاسخی که نمیتوان با اطمینان آن را بازهای کرد، بهصورت نمایش کامل سرو میشود.
چه چیزی در محیط تولید تغییر کرد
پیش از آنکه Origin Range Requests را برای همه باز کنیم، کاربران فعلی ویژگی قدیمی کش کردن بازهای را به پیادهسازی جدید منتقل کردیم؛ با شروع از بارهای کاریای که بیشترین آسیب را به ما میزدند.
این بارهای کاری درخواستهای بازهای همزمان زیادی روی فایلهای بسیار بزرگ داشتند، اغلب با ترافیکی بسیار پرنوسان. اندازههای بازهٔ پیکربندیشده در سیستم قدیمی از دهها کیلوبایت تا دهها گیگابایت متغیر بود. با اندازهٔ بازهٔ بزرگ، درخواستی که حتی یک فلاپیدیسک را پر نمیکرد میتوانست ما را وادار کند چند دیویدی داده از مبدأ دانلود کنیم و آن را بین چند مرکز داده جابهجا کنیم؛ گاهی پس از آنکه کلاینت دست کشیده و جای دیگری رفته بود. با اندازهٔ بازهٔ کوچک، یک درخواست به صف طولانیای از درخواستهای کوچک به مبدأ تبدیل میشد که هر کدام هنگام انتظار حافظه را اشغال میکرد. هر دو الگو برای ما حادثههای عملیاتی واقعی ایجاد کردند.
R2 بزرگترین کاربر داخلی بود. اندازهٔ بازهٔ پیکربندیشدهٔ آن ۶۴ مبیبایت بود، بنابراین یک خواندن کوچک که از مرز یک بازه عبور میکرد میتوانست ۱۲۸ مبیبایت انتقال بین مراکز داده برای ما هزینه داشته باشد. پس از انتقال R2 به پیادهسازی جدید، شاهد این موارد بودیم:
پاسخهای سریعتر. در همهٔ مناطق ذخیرهسازی R2، زمان تا اولین بایت صدک ۹۹ هم در برخوردهای کش و هم در عدم برخوردهای کش حدود نصف شد.
بایتهای کمتر روی شبکهٔ ما. آخرین تغییر ما به هماهنگکننده آموخت بایتهای موجود روی دیسک را با بایتهای واکشیشده از بالادست در یک پاسخ واحد ترکیب کند. پیش از آن، یک درخواست یا کاملاً از کش سرو میشد یا کاملاً از بالادست. پس از فعال کردن این قابلیت برای R2، ترافیک کش لایهای برای R2 و بارهای کاری مشابه حدود ۶٪ نسبت به هفتهٔ قبل کاهش یافت؛ یعنی روزانه چند پتابایت دادهٔ کمتر بین مراکز دادهٔ ما جابهجا میشود.
شروع کار
وقتی کش دیگر به اندازهٔ بازهٔ انتخابشده توسط مشتری وابسته نبود، پیکربندی محصول نمیتوانست سادهتر باشد. مشتریان ترافیک منطبق را از طریق Cache Rules انتخاب میکنند. Cloudflare قطعهبندی و هماهنگی کش را انجام میدهد.
Origin Range Requests برای ترافیکی در نظر گرفته شده است که در آن کلاینتها بهطور طبیعی بخشهایی از یک شیء بزرگ قابل کش را درخواست میکنند:
ویدیوی پیشرونده و قابل جستوجو مانند MP4
دانلودهای بزرگ قابل از سرگیری
توزیع نرمافزار و مخازن بسته
تصاویر دیسک، آرشیوها و دیگر اشیای چند گیگابایتی
بارهای کاری آموزش و استنتاج هوش مصنوعی که فایلهای بزرگ مدل را منتقل میکنند یا نواحی انتخابشدهای از فایلهای مدل را واکشی میکنند
کلاینتهایی که فراداده یا ناحیهٔ کوچکی از یک فایل بزرگتر را واکشی میکنند
قصد داریم این را به روش پیشفرض سرو کردن انواع خاصی از فایلها در شبکهٔ خود تبدیل کنیم که با Cache Rule قابل تغییر است.
این ویژگی واجد شرایط بودن معمول کش را تغییر نمیدهد. فعال کردن آن، پاسخی را که در غیر این صورت قابل کش نیست، قابل کش نمیکند. مبدأ نیز باید از بازههای بایتی پشتیبانی کند تا واکشی جزئی از مبدأ مفید باشد.
برای فعال کردن آن، یک Cache Rule بسازید که با ترافیک فایلهای بزرگ شما مطابقت داشته باشد و Origin Range Requests را روی On قرار دهید. میتوانید این کار را در داشبورد زیر Caching > Cache Rules یا از طریق API با origin_range_requests: { "mode": "on" } انجام دهید. مشتریان ترافیک را انتخاب میکنند؛ لبه، هماهنگی کش و الزامات درستی را انجام میدهد.



