مدت‌هاست که کنترل هزینه، صدر فهرست پرتقاضاترین قابلیت‌های درخواستی توسعه‌دهندگانی است که روی پلتفرم توسعهٔ ما کار می‌کنند. اکنون بیش از ۱۰ میلیون توسعه‌دهنده روی Cloudflare فعالیت می‌کنند و این موضوع بیش از هر زمان دیگری اهمیت دارد.

هرچند مدتی است که اعلان‌های مصرف و هشدارهای بودجه برای پلن‌های پرداختی در دسترس است، این راه‌حل مشکل را به‌طور کامل حل نمی‌کند؛ آگاه‌کردن با کنترل‌کردن یکی نیست.

اکنون می‌توانید آستانه‌های هزینه تعیین کنید و انتخاب کنید که Cloudflare با رسیدن به این سقف‌ها فعالیت را متوقف کند تا از صورت‌حساب‌های پیش‌بینی‌نشده ناشی از مصرف برنامه‌ریزی‌نشده جلوگیری شود. امروز Spend Management را در نسخهٔ Beta معرفی می‌کنیم؛ این قابلیت برای همهٔ مشتریان pay-as-you-go (PayGo) و در گام نخست برای Workers و Durable Objects در دسترس است.

از Spend Management در کنار سقف‌های هزینهٔ AI Gateway استفاده کنید تا هزینه‌های محاسباتی و استنتاج هوش مصنوعی را در سراسر اپلیکیشن خود مدیریت کنید. AI Gateway از پیش بودجه‌های به‌ازای هر کاربر و هر مدل را برای Workers AI و سایر ارائه‌دهندگان هوش مصنوعی پشتیبانی می‌کند که روی درخواست‌های عبوری از Gateway اعمال می‌شوند.

نحوهٔ کار

می‌توانید استفاده از Spend Management را از طریق dashboard، cf CLI یا REST API آغاز کنید.

در dashboard به Manage Account > Billing > Spend limits بروید و محصولاتی را که می‌خواهید هزینهٔ آن‌ها را کنترل کنید فعال کنید.

وقتی کنترل‌ها را برای یک محصول فعال می‌کنید، می‌توانید سقف هزینه تعیین کنید، یک ایمیل گیرنده برای اعلان‌ها مشخص کنید و یک یا چند آستانهٔ هشدار تنظیم کنید.

اگر ایمیل گیرنده را تنظیم کنید، Cloudflare هنگام رسیدن هزینهٔ محاسبه‌شده به یکی از آستانه‌ها یا به سقف هزینه، اعلان ارسال می‌کند. با رسیدن به سقف، سیاست مسدودسازی اعمال می‌شود و محصول شما به‌طور خودکار متوقف می‌شود.

در dashboard می‌توانید هزینه‌های دورهٔ صورت‌حساب جاری هر محصول پشتیبانی‌شده را نزدیک به زمان واقعی (کمتر از ۱۰ دقیقه) ببینید و تنظیمات و آستانه‌های خود را از همان‌جا مدیریت کنید. پنل نمای کلی به شما می‌گوید کدام محصولات آستانه و سقف تنظیم‌شده دارند. در این نمونه می‌بینید که Workers پیش از رسیدن به سقف سخت، دو هشدار را فعال کرده است.

توجه داشته باشید که دورهٔ صورت‌حساب از زمان آغاز اشتراک پرداختی شروع می‌شود، نه از زمان استقرار یک Worker یا ایجاد سقف هزینه؛ اشتراکی که در ۱۰ اکتبر آغاز شود معمولاً دوره‌ای از ۱۰ اکتبر تا ۱۰ نوامبر دارد، نه یک ماه تقویمی.

dashboard همچنین یک گزارش ممیزی (audit log) نشان می‌دهد تا بتوانید ببینید چه کسی و چه زمانی سقفی را تغییر داده یا چه زمانی به سقف رسیده‌اید.

مانند بیشتر سرویس‌های Cloudflare، Spend Management یک API هم هست که می‌توانید به‌صورت برنامه‌نویسی از آن استفاده کنید؛ مستندات آن در Developer Documentation ما در دسترس است. این نمونه‌ای است که از API استفاده می‌کند:

curl --fail-with-body --request POST \
  "https://api.cloudflare.com/client/v4/accounts/${CLOUDFLARE_ACCOUNT_ID}/billing/spend-policies" \
  --header "Authorization: Bearer ${CLOUDFLARE_API_TOKEN}" \
  --header "Content-Type: application/json" \
  --data '{
    "name": "Workers spending cap",
    "product_id": "workers",
    "enabled": true,
    "threshold_cents": 10000,
    "action": "usage_block",
    "notification_email": "me@example.com"
  }'

و البته می‌توانید از cf، ابزار خط فرمان برای کل APIهای Cloudflare، استفاده کنید:

cf billing spend-policies list
cf billing spend-policies create
cf billing spend-policies get
cf billing spend-policies update
cf billing spend-policies delete
cf billing spend-policies audit list
cf billing spend-policies activity list

cf billing spend-policies create --body '{
  "name": "Workers spending cap",
  "product_id": "workers",
  "enabled": true,
  "threshold_cents": 10000,
  "action": "usage_block",
  "notification_email": "me@example.com"
}'

پس از اعمال سقف، فراخوانی‌های جدید آن محصول رد می‌شوند. توجه کنید که ما فقط فراخوانی‌های کد مشتری را که هزینه ایجاد می‌کنند متوقف می‌کنیم؛ برای مثال در Workers، Cron Triggers و Queue consumer invocations متوقف می‌شوند، اما دارایی‌های استاتیک همچنان سرو می‌شوند.

برای ازسرگیری سرویس می‌توانید:

سقف را بالاتر از هزینهٔ انباشتهٔ دورهٔ جاری ببرید.

سیاست مسدودسازی را غیرفعال یا حذف کنید.

تا دورهٔ صورت‌حساب بعدی صبر کنید تا مسدودسازی موجود منقضی شود.

همین. می‌توانید از امروز Spend Management را برای Workers و Durable Objects به کار ببرید و محصولات دیگر هم به‌زودی اضافه خواهند شد.

برای آشنایی با نحوهٔ ساخت این سیستم و برنامه‌های آینده، ادامهٔ مطلب را بخوانید.

چگونه Spend Management را ساختیم

هرچند در ظاهر ساده و سرراست به نظر می‌رسد، ساخت چنین سیستمی در مقیاس Cloudflare کار کوچکی نبود. از یک فراخوانی در هر نقطه از شبکهٔ توزیع‌شدهٔ ما تا تصمیم مسدودسازی که باید در سراسر جهان اعمال شود، ساخت Spend Management مستلزم همکاری با چند تیم، تغییر کد در سیستم‌های موجود و ساخت سیستم‌های تازه از صفر بود.

بیایید با نمای کلی یک رویداد قابل‌صورت‌حساب مشمول سقف شروع کنیم:

حالا عمیق‌تر بررسی می‌کنیم.

جمع‌آوری و تجمیع نزدیک به منبع

هر فراخوانی اندازه‌گیری‌های مصرف تولید می‌کند: درخواست‌ها، زمان CPU، مدت اجرا یا عملیات ذخیره‌سازی، بسته به محصول. اما انتقال و پردازش این حجم از دادهٔ خام از منبع تا Rating Engine مقیاس‌پذیر و کارآمد نبود.

بنابراین اندازه‌گیری‌ها را تا حد امکان نزدیک به منبع جمع‌آوری و تجمیع می‌کنیم؛ با یک خط لولهٔ اندازه‌گیری دومرحله‌ای که رویدادها را در تجمیع‌های مصرف ترکیب می‌کند تا موتور به‌جای پردازش تک‌تک رویدادها، مصرف انباشته را ببیند.

بیایید به یک نمودار نگاه کنیم.

مرحلهٔ اول حجم رویدادهای خام را نزدیک به محل تجزیه (parsing) و در پنجره‌های یک‌دقیقه‌ای کاهش می‌دهد. هر تجزیه‌گر اندازه‌گیری، رویدادهای خام را به اندازه‌گیری‌های مصرف تبدیل می‌کند و سپس اندازه‌گیری‌های منطبق را معمولاً در سبدهای یک‌دقیقه‌ای ترکیب می‌کند. با این حال، ممکن است چند رکورد همان حساب و بازهٔ زمانی را توصیف کنند.

در مرحلهٔ دوم، سرویسی جداگانه این تجمیع‌های جزئی مرحلهٔ اول را با همان قواعد گروه‌بندی، اما معمولاً در پنجره‌های پنج‌دقیقه‌ای، ادغام می‌کند و حجم را پیش از پردازش پایین‌دستی توسط Usage Engine باز هم کاهش می‌دهد. اینجا تجمیع‌های یکپارچه‌شده را هم بایگانی می‌کنیم؛ این کار مجموعه‌داده‌ای پایدار برای تحلیل‌ها و تطبیق‌های بعدی به ما می‌دهد.

نکتهٔ خوب این خط لولهٔ دومرحله‌ای این است که حجم رویدادهای خام را زود کاهش می‌دهد، بنابراین موتورهای پایین‌دستی فقط مصرف تجمیع‌شده‌ای را پردازش می‌کنند که برای محاسبهٔ هزینه و اقدام بر اساس آن لازم دارند. همین است که این کار را در مقیاس Cloudflare عملی می‌کند.

Usage Engine: پردازش تفکیک‌شده بر اساس حساب

Usage Engine اندازه‌گیری‌های تجمیع‌شده را به رکوردهای مصرف تبدیل می‌کند؛ رکوردهایی استاندارد که شامل حساب، بازهٔ مصرف، شاخص، مقدار و ابعاد مرتبط هستند. به عبارت دیگر، سنجه‌های مخصوص هر محصول را به شاخص‌های مصرف پشتیبانی‌شده نگاشت می‌کند.

پردازش را بر اساس حساب تفکیک می‌کنیم تا اطلاعات مصرف و اشتراک یک حساب در یک جا به هم برسند. این کار به ما امکان می‌دهد مصرف انباشتهٔ آن حساب را نگه داریم و سهمیه‌های شامل‌شده را بدون هماهنگی با پردازشگرهای قیمت‌گذاری در هر به‌روزرسانی اعمال کنیم.

همان‌طور که می‌بینید، تفکیک‌های مختلف را به‌صورت موازی اجرا می‌کنیم تا کار را میان حساب‌ها پخش کنیم و در همان حال وضعیت قیمت‌گذاری هر حساب را کنار هم نگه داریم. همچنین توجه کنید که هر تفکیک هم وضعیت محلی برای دسترسی سریع دارد و هم یک لاگ تغییرات پایدار از نوع لاگ پیش‌نوشت (WAL) روی دیسک. این برای ما به ارمغان می‌آورد:

هماهنگی کمتر میان تفکیک‌ها : وضعیت مصرف و اشتراک هر حساب کنار هم می‌ماند.

قیمت‌گذاری یکدست : به‌روزرسانی‌های مصرف از همان وضعیت سهمیه و هزینهٔ انباشته استفاده می‌کنند.

پردازش موازی : تفکیک‌های مختلف هزینه را مستقل از هم محاسبه می‌کنند.

قابلیت بازیابی : وضعیت پایدار به پردازشگرهای جایگزین امکان می‌دهد در صورت نیاز پس از خرابی بازسازی کنند و کار را از سر بگیرند.

در نهایت، شاخص‌های مصرف به Rating Engine داده می‌شوند.

Rating Engine

Rating Engine مهم‌ترین بخش Spend Management است؛ مصرف را به ارزش پولی تبدیل می‌کند و همان چیزی است که می‌تواند به این پرسش پاسخ دهد: «با توجه به مصرف این حساب، اشتراک آن و قیمت‌گذاری‌اش، تاکنون چقدر هزینه کرده است؟»

نحوهٔ کار آن چنین است.

در اصل، Rating Engine سه چیز را کنار هم می‌آورد:

رکوردهای مصرف : مقادیری مانند تعداد درخواست‌ها و میلی‌ثانیه‌های CPU.

اطلاعات اشتراک : دورهٔ صورت‌حساب حساب و تغییرات پلن.

قواعد قیمت‌گذاری : نرخ‌ها، سهمیه‌های شامل‌شده و گردکردن صورت‌حساب.

داده‌های مصرف و اشتراک جریان‌های مستقلی هستند

به‌روزرسانی‌های مصرف و اشتراک به‌صورت جریان‌های مستقل می‌رسند، بنابراین نمی‌توانیم فرض کنیم به ترتیب به Rating Engine می‌رسند. علاوه بر این، باید بتوانیم از خرابی پردازش داده یا نبود اطلاعات اشتراک، مثلاً به‌دلیل شکست یک webhook، بازیابی کنیم.

اگر مصرف پیش از اطلاعات اشتراک لازم برای قیمت‌گذاری آن برسد، آن را به‌صورت معلق نگه می‌داریم و وقتی آن اطلاعات در دسترس قرار گرفت دوباره به آن بازمی‌گردیم. این کار به ما امکان می‌دهد تأخیرهای موقت را تحمل کنیم و مصرف قیمت‌گذاری‌نشده را رایگان به حساب نیاوریم.

ردیابی هزینهٔ انباشته

در نهایت، هزینهٔ انباشته را محاسبه و ردیابی می‌کنیم. Rating Engine از یک پایگاه دادهٔ کاتالوگ محصول استفاده می‌کند که شاخص‌های مصرف، از جمله سهمیه‌ها، نرخ‌ها و قواعد گردکردن را تعریف می‌کند و آن را در کنار اطلاعات اشتراک حساب قرار می‌دهد. یک میلیون میلی‌ثانیهٔ CPU لزوماً به معنای هزینهٔ اضافی نیست: موتور ابتدا سهمیهٔ CPU شامل‌شدهٔ حساب را اعمال می‌کند و سپس هر مازاد را قیمت‌گذاری می‌کند. این موتور مصرف انباشته را قیمت‌گذاری می‌کند، نه این‌که هر درخواست را جداگانه گرد و صورت‌حساب کند.

پس از محاسبهٔ هزینهٔ انباشته، دو مرحله انجام می‌شود:

ارزیابی سیاست : تصمیم‌گیری دربارهٔ این‌که آیا یک یا چند آستانهٔ هشدار یا مسدودسازی رسیده‌اند یا نه.

گزارش‌دهی : هزینه‌های برآوردی مصرف را از طریق APIهای ما در dashboard نشان می‌دهیم و در صورت نیاز ایمیل هشدار ارسال می‌کنیم (از طریق Cloudflare Email Service ).

اعمال ناهمگام سقف

Rating Engine در مسیر درخواست قرار ندارد و مستقیماً درخواست‌ها را رد نمی‌کند. در عوض، سرویس سیاست سقف را به سرویس پیکربندی زمان اجرا و Quicksilver، فروشگاه کلید-مقدار داخلی ما که برای تکثیر سریع جهانی و دسترسی کم‌تأخیر در مقیاس سیاره‌ای توسعه یافته است، می‌فرستد. این سقف به‌صورت ناهمگام به همهٔ گره‌های ما منتشر می‌شود.

وقتی سقف به Quicksilver می‌رسد، زمان اجرا آن را در تازه‌سازی دوره‌ای خود برمی‌دارد و شروع به رد فراخوانی‌ها یا عملیات مشمول سقف می‌کند.

به عبارت دیگر، اعمال سقف از وضعیت محلی استفاده می‌کند، بنابراین درخواست‌ها هرگز لازم نیست منتظر Rating Engine بمانند. با استفادهٔ دوباره از معماری موجود محدودیت حساب در زمان اجرا، محاسبهٔ هزینه را بیرون از مسیر درخواست نگه می‌داریم و در همان حال سقف‌ها را در سراسر شبکهٔ جهانی توزیع می‌کنیم.

قدم بعدی چیست

هر مشتری pay-as-you-go می‌تواند از امروز از Spend Management استفاده کند. این یک نقطهٔ عطف مهم در نقشهٔ راه ماست، اما تازه آغاز کار است. بگذارید برخی از برنامه‌های خود را برای هفته‌ها و ماه‌های پیش رو با شما در میان بگذاریم.

محصولات بیشتر

ما با سقف‌ها برای Workers و Durable Objects شروع می‌کنیم، اما در آیندهٔ نزدیک می‌توانید بسیاری از محصولات و ابتدایی‌های دیگر Cloudflare را اندازه‌گیری و محدود کنید. سیستم را طوری ساخته‌ایم که پیوستن محصولات به آن آسان و آشنا باشد، پس انتظار داشته باشید کاتالوگ رشد کند.

نزدیک‌تر به زمان واقعی

هرچند نزدیک به زمان واقعی و کمتر از ۱۰ دقیقه معیار خوبی است، ما به آن راضی نیستیم و با مهندسی لجباز که هستیم، ایده‌های خوبی برای کاهش بیشتر این زمان داریم. انتظار داشته باشید که به‌مرور فاصلهٔ میان اندازه‌گیری و اعمال را کم کنیم، به امید این‌که به کمتر از یک دقیقه برسد.

بودجه‌های مبتنی بر ایجنت و اپلیکیشن

در حال حاضر هزینه را بر اساس محصولات و ابتدایی‌ها اندازه‌گیری می‌کنیم، اما ابعاد مفید دیگری هم برای بررسی در کنترل هزینه وجود دارد. برای مثال، توسعه‌دهنده‌ای ممکن است بخواهد هزینه‌های یک اپلیکیشن مشخص را پایش کند؛ مثلاً یک اسکریپت Worker که از ابتدایی‌های دیگری مانند R2 یا Workers AI استفاده می‌کند. چگونه می‌توان هزینهٔ تجمیع‌شدهٔ یک اپلیکیشن کامل را اندازه‌گیری کرد و همان اپلیکیشن را متوقف کرد، به‌جای این‌که ابتدایی‌های زیربنایی در همهٔ اپلیکیشن‌های مشتری غیرفعال شوند؟

کاربرد جذاب دیگر برای کنترل هزینه، ایجنت‌های هوش مصنوعی است. همه ما داستان‌های هولناکی دربارهٔ ایجنت‌های سرکش خوانده‌ایم که برای حل یک مسئله با زور، وارد حلقه‌های استدلال بازگشتی بی‌محدود می‌شوند و با فراخوانی‌های پرتکرار و گران API، هزاران دلار هزینه ایجاد می‌کنند، تا چه رسد به ایجاد مشکلات انکار سرویس (DoS) روی پایگاه‌های داده و سایر سرویس‌ها. AI Gateway از پیش به شما امکان می‌دهد برای یک ایجنت، بودجه‌ای برای درخواست‌های هوش مصنوعی عبوری از آن تعیین کنید. یک وظیفه می‌تواند منابع محاسباتی، پایگاه داده و ذخیره‌سازی هم مصرف کند. می‌خواهیم امکان بودجه‌بندی برای این دامنهٔ گسترده‌تر مصرف منابع در محصولات مختلف را فراهم کنیم.

می‌توانید فراخوانی‌های ایجنت‌های خود را برچسب‌گذاری کنید و خط لولهٔ ما این فراداده را از زمان اجرا تا Rating Engine حمل خواهد کرد. این کار به ما امکان می‌دهد هزینه را به یک اپلیکیشن یا یک وظیفهٔ ایجنتی در محصولات مختلف نسبت دهیم و آن را متوقف کنیم، بدون این‌که اپلیکیشن‌های نامرتبط دیگر مختل شوند.

شروع کنید

این عرضه، نخستین گام برای تبدیل کنترل هزینه به بخشی عادی از کار روی Cloudflare، در کنار استقرار کد و پایش اپلیکیشن‌هاست.

برای اطلاعات بیشتر، مستندات توسعه‌دهندهٔ صورت‌حساب (Developer Documentation) را ببینید. استفاده از Spend Management را آغاز کنید و به ما بگویید چه چیزی خوب کار می‌کند، چه چیزی کم است یا کجا بودجه‌های ریزدانه‌تر کمک می‌کنند.

در Discord یا شبکه‌های اجتماعی ما به ما بپیوندید. ما گوش می‌دهیم!

منبع: Cloudflare Blog

متن و تصاویر اصلی از منبع بالا. ترجمه و ویرایش در دیجیتال سرآمد.