گوگل راهنمای Crawler مربوط به Mediapartners-Google را تغییر داد؛ تمرکز دیگر فقط روی AdSense نیست

به نقل از دیجیتال مارکتینگ، گوگل مستندات مربوط به Mediapartners-Google را به‌روزرسانی کرده است؛ تغییری که باعث شده توضیحات این Crawler دیگر صرفاً به Google AdSense محدود نباشد و دامنه ارتباط آن با محصولات تبلیغاتی گوگل گسترده‌تر تعریف شود. این تغییر برای ناشران، مدیران سایت و متخصصان سئو اهمیت دارد، به‌خصوص اگر در فایل robots.txt یا سایر تنظیمات فنی سایت، قوانین مشخصی برای User Agent مربوط به Mediapartners-Google تعریف کرده باشند.

گوگل همچنان این Crawler را ابزاری می‌داند که برای ارائه تبلیغات مرتبط به سایت‌های مشارکت‌کننده از آن‌ها بازدید می‌کند، اما متن جدید مستندات اشاره می‌کند که تنظیمات خزش مربوط به این User Agent می‌تواند بر چندین محصول تبلیغاتی گوگل تأثیر بگذارد.

Mediapartners-Google چیست؟

Mediapartners-Google نام User Agent مربوط به یکی از Crawlerهای ویژه گوگل است که به‌طور سنتی بیشتر با Google AdSense شناخته می‌شد. این Crawler با هدف بررسی محتوای صفحات سایت‌های مشارکت‌کننده مورد استفاده قرار می‌گیرد تا سیستم‌های تبلیغاتی گوگل بتوانند تبلیغات مرتبط‌تری را در این صفحات نمایش دهند.

این Crawler با Googlebot که برای کشف، خزش و پردازش صفحات وب در جست‌وجوی گوگل استفاده می‌شود، یکسان نیست. به همین دلیل، دستورهایی که مدیر سایت برای User Agentهای مختلف در robots.txt تعریف می‌کند، می‌توانند رفتار متفاوتی داشته باشند.

تغییر اخیر گوگل دقیقاً به همین بخش مربوط می‌شود و توضیح می‌دهد که محدودیت‌ها و تنظیمات خزش اعمال‌شده برای Mediapartners-Google فقط به AdSense ارتباط ندارند.

گوگل در مستندات Mediapartners-Google چه چیزی را تغییر داد؟

در نسخه قبلی مستندات، توضیح این Crawler مستقیماً به AdSense وابسته بود. در متن قدیمی، گوگل توضیح می‌داد که تنظیمات خزش مربوط به Mediapartners-Google روی Google AdSense تأثیر می‌گذارد و این Crawler از سایت‌های مشارکت‌کننده بازدید می‌کند تا تبلیغات مرتبط را ارائه دهد.

اما در نسخه جدید، گوگل توضیح خود را عمومی‌تر کرده است. در مستندات به‌روزشده آمده که Mediapartners-Google از سایت‌های مشارکت‌کننده برای ارائه تبلیغات مرتبط بازدید می‌کند و تنظیمات خزش مربوط به این User Agent می‌تواند بر محصولات مختلف تبلیغاتی گوگل تأثیر داشته باشد.

گوگل برای توضیح این دامنه گسترده‌تر، Google AdSense و Google Ad Manager را به‌عنوان نمونه معرفی کرده است.

چرا تغییر از AdSense به «محصولات تبلیغاتی» مهم است؟

تفاوت اصلی در نوع عبارتی است که گوگل برای توصیف کاربرد Mediapartners-Google استفاده می‌کند. در گذشته، ارتباط این Crawler با AdSense بسیار مستقیم و مشخص بود؛ اما حالا گوگل آن را در چارچوب گسترده‌تر محصولات تبلیغاتی خود تعریف می‌کند.

این تغییر به این معنا نیست که همه محصولات تبلیغاتی گوگل الزاماً از Mediapartners-Google استفاده می‌کنند. نکته مهم این است که مستندات جدید تنها دو نمونه را ذکر می‌کنند و فهرست کاملی از تمام سرویس‌های تحت تأثیر ارائه نمی‌دهند.

بنابراین، مدیران سایت نباید از این تغییر نتیجه بگیرند که هر سرویس تبلیغاتی گوگل به این Crawler وابسته است. آنچه گوگل رسماً در مستندات جدید بیان کرده، گسترش دامنه توضیح درباره محصولات تبلیغاتی مرتبط با تنظیمات این User Agent است.

آیا Mediapartners-Google همان Googlebot است؟

خیر. این دو Crawler کاربرد یکسانی ندارند. Googlebot عمدتاً برای خزش محتوای وب و کمک به پردازش صفحات برای Google Search استفاده می‌شود، در حالی که Mediapartners-Google در دسته Crawlerهای ویژه گوگل قرار دارد و ارتباط آن با سیستم‌های تبلیغاتی تعریف شده است.

این تفاوت از نظر مدیریت خزش اهمیت زیادی دارد. یک سایت می‌تواند برای User Agentهای مختلف قوانین متفاوتی در فایل robots.txt داشته باشد و در نتیجه، محدود کردن یک Crawler لزوماً به معنای محدود کردن Crawler دیگر نیست.

به همین دلیل، متخصصان فنی سئو باید هنگام بررسی مشکلات خزش، فقط به وضعیت Googlebot توجه نکنند و در صورت استفاده از محصولات تبلیغاتی گوگل، User Agentهای مرتبط با آن‌ها را نیز بررسی کنند.

تأثیر robots.txt بر Mediapartners-Google

یکی از مهم‌ترین بخش‌های این تغییر برای مدیران سایت، ارتباط آن با robots.txt است. اگر در این فایل دستورهایی برای Mediapartners-Google تعریف شده باشد، همان تنظیمات می‌تواند روی نحوه دسترسی این Crawler به محتوای سایت تأثیر بگذارد.

در نتیجه، مدیر سایت باید بداند که یک قانون محدودکننده برای این User Agent ممکن است صرفاً یک اثر نظری روی AdSense نداشته باشد و طبق توضیحات جدید گوگل، روی برخی دیگر از محصولات تبلیغاتی مرتبط نیز اثر بگذارد.

پیش از تغییر قوانین robots.txt بهتر است مشخص شود که سایت دقیقاً از چه سرویس‌های تبلیغاتی گوگل استفاده می‌کند و محدود کردن خزش Mediapartners-Google چه پیامدی برای آن سرویس‌ها خواهد داشت.

آیا این تغییر روی رتبه‌های ارگانیک اثر دارد؟

نباید تغییر مستندات Mediapartners-Google را با تغییر مستقیم در الگوریتم رتبه‌بندی Google Search اشتباه گرفت. این به‌روزرسانی درباره نحوه توصیف و کاربرد یک Crawler ویژه برای محصولات تبلیغاتی است و گوگل در این تغییر اعلام نکرده که Mediapartners-Google به یکی از سیگنال‌های رتبه‌بندی ارگانیک تبدیل شده است.

به همین دلیل، سایت‌ها نباید صرفاً به دلیل این تغییر انتظار افزایش یا کاهش مستقیم رتبه‌های ارگانیک خود را داشته باشند. اهمیت اصلی موضوع برای ناشرانی است که از محصولات تبلیغاتی گوگل استفاده می‌کنند و تنظیمات خزش مربوط به این User Agent را در سایت خود مدیریت می‌کنند.

Google AdSense و Google Ad Manager چه ارتباطی با این تغییر دارند؟

گوگل در مستندات جدید، AdSense و Google Ad Manager را به‌عنوان نمونه‌هایی از محصولات تبلیغاتی مرتبط با Mediapartners-Google معرفی کرده است.

AdSense برای بسیاری از ناشران وب شناخته‌شده است و امکان نمایش تبلیغات در وب‌سایت‌ها را فراهم می‌کند. Google Ad Manager نیز مجموعه‌ای گسترده‌تر از ابزارهای مدیریت و ارائه تبلیغات را در اختیار ناشران و کسب‌وکارها قرار می‌دهد.

اضافه شدن Ad Manager به توضیح رسمی باعث می‌شود تعریف Mediapartners-Google نسبت به گذشته کمتر به یک محصول خاص وابسته باشد. با این حال، گوگل مشخص نکرده است که فهرست کامل محصولات تحت تأثیر دقیقاً شامل چه سرویس‌هایی است.

آیا Google Marketing Platform یا AdMob هم تحت تأثیر هستند؟

یکی از نکات مبهم در به‌روزرسانی جدید همین موضوع است. مستندات جدید گوگل دو سرویس AdSense و Google Ad Manager را به‌عنوان مثال معرفی می‌کنند، اما فهرست جامعی از محصولات مرتبط ارائه نمی‌دهند.

در نتیجه، از متن جدید نمی‌توان با اطمینان نتیجه گرفت که محصولاتی مانند Google Marketing Platform، Local Services Ads یا Google AdMob نیز از همان سازوکار Mediapartners-Google استفاده می‌کنند یا تنظیمات این User Agent روی آن‌ها اثر یکسانی دارد.

این ابهام باعث می‌شود هنگام تصمیم‌گیری درباره قوانین Crawler، تکیه بر حدس یا تعمیم دادن کاربرد یک User Agent به تمام محصولات تبلیغاتی گوگل رویکرد مناسبی نباشد. بهتر است مدیران سایت هر محصول را بر اساس مستندات رسمی همان سرویس بررسی کنند.

این تغییر برای متخصصان سئو چه معنایی دارد؟

برای متخصصان سئو، مهم‌ترین نکته این است که مدیریت Crawlerها فقط به Googlebot محدود نمی‌شود. سایت‌هایی که هم‌زمان از جست‌وجوی گوگل و محصولات تبلیغاتی این شرکت استفاده می‌کنند، باید بدانند هر User Agent با چه هدفی وارد سایت می‌شود و چه دستورهایی در robots.txt برای آن تعریف شده است.

در یک بررسی فنی مناسب، می‌توان موارد زیر را کنترل کرد:

• بررسی قوانین موجود برای Mediapartners-Google در فایل robots.txt.
• مشخص کردن اینکه سایت از AdSense، Google Ad Manager یا سایر محصولات تبلیغاتی گوگل استفاده می‌کند یا خیر.
• بررسی اینکه صفحات مهم تبلیغاتی یا محتوایی به‌طور ناخواسته برای این Crawler مسدود نشده باشند.
• تفکیک قوانین مربوط به Mediapartners-Google از قوانین Googlebot.
• بررسی مستندات رسمی گوگل پیش از ایجاد تغییر در تنظیمات خزش.

جمع‌بندی

گوگل مستندات مربوط به Mediapartners-Google را به‌روزرسانی کرده و توضیح این Crawler را از تمرکز مشخص روی AdSense به چارچوب گسترده‌تر محصولات تبلیغاتی منتقل کرده است. در مستندات جدید، Google AdSense و Google Ad Manager به‌عنوان نمونه‌هایی از سرویس‌هایی معرفی شده‌اند که تنظیمات خزش Mediapartners-Google می‌تواند روی آن‌ها اثر داشته باشد.

با این حال، گوگل فهرست کاملی از سرویس‌های تحت تأثیر ارائه نکرده است و نمی‌توان صرفاً بر اساس این تغییر نتیجه گرفت که تمام محصولات تبلیغاتی این شرکت از Mediapartners-Google استفاده می‌کنند.

برای مدیران سایت و متخصصان سئو، مهم‌ترین اقدام بررسی تنظیمات robots.txt و شناخت دقیق نقش هر User Agent است. همچنین نباید این تغییر مستندات را با یک به‌روزرسانی الگوریتم رتبه‌بندی جست‌وجوی ارگانیک اشتباه گرفت؛ موضوع اصلی این تغییر، نحوه خزش برای اهداف تبلیغاتی است.

برای مطالعه جدیدترین اخبار و تحلیل‌های سئو، گوگل و بازاریابی دیجیتال به دیجیتال مارکتینگ مراجعه کنید.

“`