به نقل از دیجیتال مارکتینگ ایران، گوگل در قسمت جدید مجموعه ویدیویی Non-Canonical Cabinet به یکی از موضوعات مهم فنی در سئو پرداخته است: فایل robots.txt دقیقاً چه قوانینی را پشتیبانی می‌کند و چگونه باید آن را برای خزنده‌های موتورهای جست‌وجو و ربات‌های هوش مصنوعی تنظیم کرد؟ گری ایلیس و چری پرومماوین در این ویدیو درباره استانداردهای این فایل، نحوه استفاده از کاراکترهای غیرانگلیسی و ایموجی‌ها در مسیر URLها و تفاوت میان محدود کردن خزش و جلوگیری از استفاده از محتوا برای آموزش هوش مصنوعی توضیح می‌دهند.
فایل robots.txt یکی از ابزارهای پایه مدیریت خزش سایت است، اما اشتباه در تنظیم آن می‌تواند باعث شود ربات‌ها به صفحاتی دسترسی پیدا کنند که مدیر سایت قصد محدود کردنشان را داشته است. از طرف دیگر، تصور اینکه این فایل به‌تنهایی می‌تواند دسترسی غیرمجاز را متوقف کند یا مانع استفاده از محتوای سایت برای آموزش مدل‌های هوش مصنوعی شود، برداشت درستی نیست. شناخت محدودیت‌های robots.txt برای مدیران سایت، متخصصان سئو و کسب‌وکارهایی که نگران نحوه استفاده از محتوای خود هستند، اهمیت زیادی دارد.
فایل robots.txt چیست و چه کاربردی دارد؟
فایل robots.txt یک فایل متنی ساده است که معمولاً در مسیر اصلی دامنه قرار می‌گیرد. برای مثال، آدرس آن در یک سایت می‌تواند به شکل https://example.com/robots.txt باشد. این فایل مجموعه‌ای از دستورالعمل‌ها را در اختیار خزنده‌های خودکار قرار میدهد تا مشخص شود کدام مسیرهای سایت را می‌توانند خزش کنند و کدام مسیرها باید از خزش آن‌ها مستثنا شوند.
خزنده‌ها یا Crawlers برنامه‌هایی هستند که صفحات وب را به‌صورت خودکار بررسی می‌کنند. موتورهای جست‌وجو از این برنامه‌ها برای کشف و بررسی صفحات استفاده می‌کنند. برخی شرکت‌های هوش مصنوعی نیز خزنده‌هایی دارند که محتوای وب را برای اهداف مختلف جمع‌آوری می‌کنند. فایل robots.txt می‌تواند به خزنده‌های سازگار با این سازوکار اعلام کند که مدیر سایت با خزش چه بخش‌هایی موافق نیست.
بااین‌حال، باید میان «خزش» و «نمایه‌سازی» تفاوت قائل شد. خزش به فرایند درخواست و بررسی محتوای یک URL گفته می‌شود، درحالی‌که نمایه‌سازی به ذخیره و سازمان‌دهی اطلاعات صفحه برای نمایش احتمالی در نتایج جست‌وجو مربوط است. مسدود کردن خزش یک URL در robots.txt لزوماً تضمین نمی‌کند که آن URL از نتایج جست‌وجو حذف شود؛ ممکن است موتور جست‌وجو نشانی صفحه را از منابع دیگر بشناسد، حتی اگر نتواند محتوای آن را بخواند.
استاندارد رسمی robots.txt چیست؟
گری ایلیس در ویدیوی گوگل تأکید می‌کند که robots.txt باید با استاندارد اینترنتی RFC 9309 سازگار باشد. این استاندارد، قواعد اصلی پروتکل Robots Exclusion را تعریف می‌کند و مشخص می‌کند خزنده‌های سازگار چگونه باید دستورهای این فایل را تفسیر کنند.
گوگل نیز از این استاندارد به‌عنوان مبنای رفتار خزنده خود استفاده می‌کند، اما یک نکته مهم وجود دارد: نباید فرض کرد تمام موتورهای جست‌وجو، ربات‌های قدیمی یا خزنده‌های هوش مصنوعی دقیقاً مانند گوگل رفتار می‌کنند. ممکن است برخی خزنده‌ها از دستورهای خاصی پشتیبانی نکنند یا در پردازش مسیرهای پیچیده تفاوت‌هایی داشته باشند.
در نتیجه، اگر یک قانون در robots.txt از نظر انسانی قابل‌فهم به نظر برسد، این موضوع به‌تنهایی اثبات نمی‌کند که خزنده آن را درست اجرا خواهد کرد. اعتبار نحوی دستور، نحوه تطبیق آن با URL و رفتار خزنده مقصد باید بررسی شود.
کدام دستورها در robots.txt اهمیت دارند؟
فایل robots.txt مجموعه محدودی از دستورها و قواعد مشخص دارد. از جمله مهمترین مواردی که در ویدیوی گوگل به آن‌ها اشاره می‌شود، می‌توان به این موارد اشاره کرد:
User-agent: مشخص می‌کند دستورهای بعدی برای کدام خزنده یا گروهی از خزنده‌ها در نظر گرفته شده‌اند.Disallow: مسیرهایی را مشخص می‌کند که خزنده نباید آن‌ها را خزش کند.Allow: در پیاده‌سازی‌هایی مانند گوگل می‌تواند برای مجاز کردن یک مسیر در شرایطی که مسیر گسترده‌تری مسدود شده است، استفاده شود.Sitemap: نشانی نقشه سایت را معرفی می‌کند تا خزنده بتواند از آن برای کشف URLها استفاده کند.
برای مثال، ساختار زیر یک نمونه ساده از فایل robots.txt است:
User-agent: Googlebot
Disallow: /private/
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlدر این نمونه، برای خزنده Googlebot خزش مسیر /private/ محدود شده است. گروه دوم به سایر خزنده‌هایی اشاره می‌کند که با علامت ستاره مشخص شده‌اند و مسیرهای سایت را به‌طور عمومی مسدود نمی‌کند. خط Sitemap نیز نشانی نقشه سایت را معرفی می‌کند.
این کد صرفاً نمونه‌ای آموزشی است و نباید بدون بررسی ساختار واقعی سایت در محیط عملیاتی کپی شود. ترتیب گروه‌ها، الگوی مسیرها و نیازهای هر وب‌سایت می‌توانند بر نتیجه نهایی اثر بگذارند. همچنین دستورهای robots.txt جایگزین کنترل دسترسی، احراز هویت یا تنظیمات امنیتی سرور نیستند.
چرا دستورهای نامعتبر ممکن است نادیده گرفته شوند؟
یکی از هشدارهای مهم مطرح‌شده در ویدیوی گوگل این است که خزنده‌ها متن عادی را لزوماً به‌عنوان دستور اجرایی تفسیر نمی‌کنند. فایل robots.txt باید از قواعدی استفاده کند که خزنده آن‌ها را می‌شناسد. نوشتن عبارتی مانند «این صفحه را خزش نکن» به زبان طبیعی، بدون استفاده از دستور معتبر، تضمینی برای جلوگیری از خزش ایجاد نمی‌کند.
بر اساس توضیحات ویدیویی، گوگل خطوطی را که نمی‌تواند به‌عنوان دستور معتبر تشخیص دهد ممکن است نادیده بگیرد و پردازش فایل را ادامه دهد. بنابراین، اگر مدیر سایت تصور کند یک مسیر حساس را با نوشتن توضیحی معمولی مسدود کرده، احتمال دارد قانون موردنظر اصلاً اجرا نشود.
این مسئله به‌ویژه زمانی خطرناک می‌شود که فایل robots.txt شامل قواعد متعدد و پیچیده باشد. اشتباه در یک خط می‌تواند باعث شود بخشی از سیاست خزش سایت مطابق انتظار اجرا نشود. به همین دلیل، بهتر است فایل تا حد امکان خوانا، استاندارد و بدون دستورهای غیرضروری نوشته شود.
استفاده از ایموجی و حروف غیرانگلیسی در robots.txt
یکی از بخش‌های جالب ویدیوی گوگل به کاراکترهای غیرانگلیسی اختصاص دارد. وب‌سایت‌ها ممکن است URLهایی داشته باشند که در مسیر آن‌ها از حروف فارسی، عربی، چینی، ژاپنی یا کاراکترهای خاص زبان‌های اروپایی استفاده شده باشد. برخی نشانی‌ها نیز ممکن است شامل ایموجی باشند.
این کاراکترها در محیط وب می‌توانند با استفاده از کدگذاری UTF-8 نمایش داده شوند، اما نحوه انتقال و تفسیر آن‌ها در URL ممکن است به شکل متفاوتی صورت بگیرد. برای نمونه، یک کاراکتر غیرانگلیسی ممکن است در نسخه قابل‌نمایش URL دیده شود، اما در شکل کدگذاری‌شده آن با یک یا چند توالی درصدی نمایش داده شود.
گوگل می‌تواند در بسیاری از موارد مسیرهای دارای کاراکترهای بین‌المللی را به‌صورت خودکار پردازش کند. بااین‌حال، این رفتار را نباید به همه خزنده‌ها تعمیم داد. برخی خزنده‌های قدیمی‌تر یا پیاده‌سازی‌های متفاوت ممکن است در تطبیق مسیر خام و نسخه کدگذاری‌شده دچار مشکل شوند.
درصدکدگذاری یا Percent-Encoding چیست؟
Percent-Encoding روشی برای نمایش کاراکترهای خاص در URL است. در این روش، بایت‌های مربوط به یک کاراکتر با علامت درصد و مقادیر هگزادسیمال نشان داده می‌شوند. این روش برای سازگاری بیشتر با ساختار URLها به کار می‌رود و در مسیرهایی که حروف غیرلاتین یا کاراکترهای خاص دارند اهمیت پیدا می‌کند.
برای نمونه، مسیر یک صفحه فارسی ممکن است در نوار آدرس مرورگر به شکل خوانا دیده شود، اما نمایش کدگذاری‌شده آن از توالی‌هایی مانند %D8 و %D9 استفاده کند. شکل دقیق کدگذاری به کاراکترهای موجود در مسیر بستگی دارد.
توصیه مطرح‌شده در ویدیوی گوگل این است که هنگام نوشتن قواعد robots.txt برای مسیرهایی که شامل کاراکترهای غیرانگلیسی یا ایموجی هستند، نسخه درصدکدگذاری‌شده مسیر نیز با دقت بررسی شود. این کار می‌تواند احتمال ناسازگاری میان رفتار خزنده‌ها را کاهش دهد؛ بااین‌حال، باید URL واقعی و نحوه پردازش آن در سرور نیز در نظر گرفته شود.
چرا مسدودسازی URLهای فارسی به بررسی بیشتری نیاز دارد؟
در سایت‌های فارسی، نامک صفحات ممکن است با حروف فارسی نوشته شود. اگر مدیر سایت قصد داشته باشد مسیر مشخصی را در robots.txt مسدود کند، نباید صرفاً به ظاهر URL در مرورگر تکیه کند. لازم است بررسی شود که مسیر در درخواست واقعی، گزارش‌های سرور و ابزارهای تست چگونه نمایش داده می‌شود.
همچنین باید میان نسخه‌های مختلف یک URL تفاوت قائل شد. تفاوت در کدگذاری کاراکترها، اسلش‌ها، پارامترهای پرس‌وجو یا شکل نرمال‌سازی مسیر ممکن است بر تطبیق قانون اثر بگذارد. به همین دلیل، آزمودن قانون روی URL واقعی اهمیت زیادی دارد.
آیا می‌توان نام خزنده هوش مصنوعی را با ایموجی نوشت؟
خیر؛ طبق توضیحات ارائه‌شده در ویدیوی گوگل، بخش User-agent برای شناسایی خزنده باید از توکن معتبر و قابل‌شناسایی استفاده کند. در این بخش نمی‌توان به‌جای نام شناخته‌شده خزنده از ایموجی یا عبارتی دلخواه استفاده کرد و انتظار داشت ربات موردنظر آن را تشخیص دهد.
اگر مدیر سایت می‌خواهد خزش یک ربات هوش مصنوعی مشخص را محدود کند، باید توکن User-agent مربوط به همان ربات را شناسایی کند و قانون را بر اساس آن بنویسد. نام‌های دلخواهی که خزنده آن‌ها را به رسمیت نمی‌شناسد، راهکار قابل‌اتکایی برای اعمال محدودیت نیستند.
برای مثال، اگر هدف محدود کردن یک خزنده مشخص باشد، ابتدا باید مستندات رسمی ارائه‌دهنده آن بررسی شود تا نام دقیق User-agent و سیاست‌های اعلام‌شده آن مشخص شود. استفاده از نام اشتباه ممکن است باعث شود قانون به ربات موردنظر اعمال نشود.
تفاوت مسدود کردن خزش هوش مصنوعی با جلوگیری از آموزش مدل‌ها
یکی از مهمترین نکات این بحث، تفاوت میان جلوگیری از دسترسی خزنده به صفحه و جلوگیری از استفاده از داده‌های قبلاً جمع‌آوری‌شده برای آموزش مدل‌های هوش مصنوعی است. فایل robots.txt در اصل یک سازوکار اعلام ترجیح درباره خزش است؛ این فایل به خزنده سازگار می‌گوید چه مسیرهایی را بررسی نکند، اما به‌خودی‌خود مشخص نمی‌کند داده‌ای که قبلاً جمع‌آوری شده چگونه باید استفاده شود.
به بیان ساده، محدود کردن خزش با محدود کردن استفاده ثانویه از محتوا یکسان نیست. ممکن است یک شرکت برای جمع‌آوری داده‌های آموزشی از خزنده‌ای استفاده کند که به
“`
