گری ایلیس (Gary Illyes) و چری پرماوین (Cherry Prommawin) از گوگل توضیح می‌دهند که مهاجرت به CDN (شبکه توزیع محتوا) چگونه می‌تواند به‌طور غیرمنتظره خزش را افزایش دهد و سرور مبدأ را تحت فشار قرار دهد، هرچند در نهایت عملکرد وب‌سایت را بهبود می‌بخشد. به گفتهٔ آن‌ها، تلاش برای کنترل ترافیک خزنده‌ها هم گاهی می‌تواند به‌طور تصادفی Googlebot را مسدود کند و به دیده‌شدن در جستجو آسیب بزند.

مهاجرت به CDN می‌تواند خزش Googlebot را افزایش دهد

ایلیس و پرماوین توضیح دادند که مهاجرت به CDN می‌تواند باعث افزایش خزش Googlebot شود، چون پاسخ سریع‌تر سرور این پیام را می‌رساند که زیرساخت سایت توان پاسخ به درخواست‌های بیشتری را دارد. سیستم‌های خودکار خزش گوگل این بهبود عملکرد را نشانهٔ آن می‌بینند که خزش بیشتر ممکن است و در واکنش، نرخ خزش را به‌تدریج بالا می‌برند.

کش CDN در ابتدا خالی است و CDN تنها زمانی شروع به کش‌کردن می‌کند که مرورگر یا خزنده‌ای صفحه‌ای را درخواست کند؛ در این مرحله درخواست باید به سرور مبدأ، یعنی جایی که وب‌سایت واقعی روی آن قرار دارد، فرستاده شود.

وقتی گوگل نرخ خزش را افزایش می‌دهد، خزش اولیه را سرور مبدأ انجام می‌دهد. اما اکنون Googlebot با شدت بیشتری به سرور مراجعه می‌کند و همین است که در ابتدا می‌تواند سرور مبدأ را از پا دربیاورد.

گری ایلیس توضیح می‌دهد:

«اول اینکه ناگهان شاخص‌های خزش نشان می‌دهند سایت توان تحمل حجم بیشتری از خزش را دارد. از طرف دیگر، چون کش‌های CDN هنوز پر نشده‌اند، سرور مبدأ همچنان باید صفحات درخواستی را ارائه کند. در واقع، CDN شیر آب را باز می‌کند و حالا خزنده‌ها از شلنگ آتش‌نشانی می‌نوشند.»

چری پرماوین جزئیات بیشتری افزود:

«در شرایط عادی، خزنده‌های ما بر اساس یک قاعدهٔ مهم کار می‌کنند. وقتی سرور سریع‌تر پاسخ می‌دهد، خزنده‌ها فرض می‌کنند زیرساخت سالم است و به‌آرامی سرعت خزش را بالا می‌برند. … پس خزنده‌ها می‌بینند سرور چقدر سریع پاسخ می‌دهد، هیجان‌زده می‌شوند و شروع می‌کنند به خزش کل سایت با سرعتی بالاتر و بالاتر و بالاتر. اما این یک تله است. مردم فکر می‌کنند CDN از همان روز اول می‌تواند اوج خزش را مهار کند، ولی … کش اول باید با دارایی‌های سایت پر شود.»

گری ایلیس توضیح داد که در نخستین درخواست یک صفحه، CDN باید ابتدا صفحه را از سرور مبدأ بگیرد تا کش را با محتوا پر کند. تنها از درخواست دوم برای همان صفحه است که کش با محتوا پر شده و کار خود را آغاز می‌کند.

ایلیس ادامه داد:

«… یعنی سرور مبدأ شما ممکن است با همان سیل درخواست‌ها تحت فشار قرار بگیرد. البته انصافاً، خزنده‌های ما برای بالا بردن سرعت زمان می‌گذارند. این اتفاق در یک میلی‌ثانیه رخ نمی‌دهد. کش خالی یعنی سرور مبدأ همچنان تمام کار سنگین را انجام می‌دهد. تا وقتی کش پر نشود، CDN هنوز نقش سپر را ایفا نمی‌کند.»

نکتهٔ مهم:

CDN نمی‌تواند نشانی‌ای را که در کش نیست، بدون دریافت آن از سرور مبدأ ارائه دهد و این دریافت تنها پس از نخستین درخواست برای همان نشانی انجام می‌شود. خزنده‌ها تقریباً همیشه از شمار زیادی نشانی بازدید می‌کنند و می‌توانند پیش از پر شدن کامل کش‌های CDN، ترافیک قابل‌توجهی به سرور مبدأ وارد کنند.

محافظت ضدربات CDN و مسدودسازی تصادفی Googlebot

مشکل بعدی مسدود کردن تصادفی Googlebot و در پی آن کاهش حضور در جستجو است، چون گوگل دیگر نمی‌تواند نشانی‌های یک وب‌سایت را بخزد و ایندکس کند. ایلیس و پرماوین این موضوع را در قالب مثالی توضیح می‌دهند که مدیر یک وب‌سایت در Cloudflare گزینه‌ای را روشن می‌کند و ناخواسته Googlebot را مسدود می‌کند.

این مشکل واقعی است. به یاد دارم در موردی، ترافیک انبوه یک وب‌سایت محبوب هر بار که Cloudflare فعال می‌شد خشک می‌شد و با خاموش کردن آن بازمی‌گشت. آن‌ها برای تشخیص علت این اتفاق دردسر زیادی داشتند و کارشناسان پشتیبانی آن زمان نتوانستند کمکی کنند. ممکن است همان چیزی رخ داده باشد که ایلیس و پرماوین اشاره کردند: مدیر سایت یک فیلتر سخت‌گیرانهٔ ربات را روشن کرده بود که ناخواسته Googlebot را مسدود می‌کرد.

ایلیس نمونه‌ای از مدیری آورد که دقیقاً همین کار را می‌کند:

«آن‌ها ترافیک جهش‌یافته را می‌بینند، فرض می‌کنند بات‌نت‌ها به‌شدت در حال خزش‌کردن سایت هستند و طبیعتاً دستپاچه می‌شوند.»

و آنچه گاهی بعد از آن رخ می‌دهد این است که مدیر ممکن است «قواعد امنیتی یکپارچه» را روشن کند که Googlebot را مسدود می‌کنند.

پرماوین جزئیات بیشتری ارائه داد:

«در حالت دستپاچگی، ممکن است فرد وارد داشبورد CDN خود شود و گزینهٔ مسدودسازی کامل ربات‌ها را روشن کند. … اگر CDN درخواست‌های خودکار را تشخیص دهد، با یک آزمون CAPTCHA جلوی آن‌ها را می‌گیرد و از آن‌ها می‌خواهد برای اثبات انسان‌بودن، روی تصویر چراغ‌های راهنمایی کلیک کنند. … درخواست‌های خودکار را می‌بیند، آن را ربات علامت می‌زند و بعد با CAPTCHA جلویش را می‌گیرد. و چون خزنده‌های ما نمی‌توانند چراغ راهنمایی را تشخیص دهند، در این آزمون رد می‌شوند.»

آنچه در نهایت با مسدودسازی طولانی‌مدت Googlebot رخ می‌دهد این است که گوگل کم‌کم صفحات را از ایندکس حذف می‌کند.

پرماوین پیشنهاد کرد که مدیران سایت CDN خود را طوری تنظیم کنند که به خزنده‌های شناخته‌شده و مورد اعتماد اجازهٔ دسترسی بدهد. این روش «قرار دادن در لیست مجاز» نام دارد؛ فقط خزنده‌هایی که در فهرست «مجاز» هستند می‌توانند دسترسی داشته باشند و بقیه خزنده‌ها نمی‌توانند.

آن‌ها همچنین توصیه می‌کنند اگر درخواست‌های وارد بر سرور مبدأ به قطعی سرویس منجر می‌شود و می‌تواند ترافیک واقعی کاربران انسانی به وب‌سایت را تحت تأثیر منفی قرار دهد، از محدودسازی نرخ Googlebot در سطح CDN استفاده شود.

پیش‌گرم‌کردن کش CDN توصیه می‌شود

وقتی سایتی برای نخستین بار با CDN راه می‌افتد، CDN هیچ کشی از محتوای آن وب‌سایت ندارد. کش تا زمانی که مرورگر یا خزنده‌ای درخواستی نفرستد، بارگذاری نمی‌شود.

پیش‌گرم‌کردن کش فرایندی است که طی آن محتوا از یک سایت درخواست می‌شود تا روی CDN بارگذاری شود. این کار تضمین می‌کند که محتوا پیش از درخواست کاربران روی CDN بارگذاری شده باشد و در نتیجه محتوا سریع تحویل داده شود، بدون آنکه CDN مجبور باشد ابتدا آن را از سرور مبدأ (سروری که فایل‌های واقعی محتوا روی آن قرار دارند) دریافت کند.

ایلیس توصیه می‌کند کش را با درخواست برنامه‌نویسی‌شدهٔ نشانی‌ها «پیش‌گرم» کنید تا کش به شکلی کنترل‌شده پر شود.

«و برای اینکه افزودن CDN به سایتتان را به سلامت پشت سر بگذارید، ببینید می‌توانید پیش از باز کردن راه برای موتورهای جستجو، با واکشی برنامه‌نویسی‌شدهٔ نشانی‌های اصلی سایت از طریق CDN، کش‌ها را پیش‌گرم کنید.»

نکته‌های کلیدی

نکتهٔ اصلی گوگل این است که مهاجرت به CDN می‌تواند ترکیبی غیرمنتظره از خزش سریع‌تر و تقاضای بیشتر از سرور مبدأ ایجاد کند. این به‌نوبهٔ خود می‌تواند به اعمال محدودیت‌های امنیتی سخت‌گیرانه‌ای منجر شود که ناخواسته دسترسی Googlebot به وب‌سایت را مسدود می‌کند.

سه نکتهٔ مهم به‌ویژه برای متخصصان سئو و صاحبان سایت:

۱. استفاده از CDN می‌تواند باعث افزایش خزش Googlebot شود، چون پاسخ سریع‌تر سرور را تشخیص می‌دهد، حتی وقتی کش‌های CDN هنوز پر نشده‌اند؛ این یعنی افزایش درخواست نشانی‌ها از سرور مبدأ.

۲. مهاجرت به CDN می‌تواند ناخواسته باعث ناپدید شدن صفحات از جستجوی گوگل شود، چون تنظیمات امنیتی سخت‌گیرانه‌ای که برای متوقف کردن ربات‌های مخرب در نظر گرفته شده‌اند، می‌توانند خزنده‌های گوگل را هم بیرون نگه دارند.

۳. گوگل پیش‌گرم‌کردن کش‌ها، اجازه دادن به خزنده‌های مورد اعتماد و کنترل موقت خزش هنگام بیش‌ازحد شدن تقاضای سرور را توصیه می‌کند.

مستندات جدید گوگل دربارهٔ CDN را اینجا بخوانید.

پادکست گوگل را اینجا تماشا کنید:

تصویر شاخص/اسکرین‌شات