ساخت فایل robots.txt برای سایت

فایل robots.txt یکی از ابزارهای مهم در سئو سایت برای موتورهای جستجو است. این فایل به ربات‌های موتورهای جستجو کمک می‌کند تا متوجه شوند کدام بخش‌های سایت شما قابل ایندکس شدن هستند و کدام بخش‌ها باید نادیده گرفته شوند. در این مقاله، نحوه ساخت و بهینه‌سازی فایل robots.txt برای سایت را بررسی می‌کنیم.

فایل robots.txt چیست؟

فایل robots.txt یک فایل متنی ساده و حیاتی در بهینه سازی سایت برای موتورهای جستجو است. این فایل به‌طور خاص در دایرکتوری ریشه‌ی سایت قرار می‌گیرد و شامل دستورالعمل‌هایی برای ربات‌های موتورهای جستجو مانند گوگل، بینگ و یاهو است.

وظیفه اصلی این فایل، راهنمایی ربات‌ها برای ایندکس کردن یا نادیده گرفتن بخش‌هایی از سایت است. برای مثال، می‌توانید از طریق فایل robots.txt تعیین کنید که ربات‌ها کدام صفحات (مانند صفحات خصوصی، موقت یا آزمایشی) را نبینند و چه بخش‌هایی (مانند صفحات عمومی یا حیاتی) را به راحتی ایندکس کنند.

این فایل می‌تواند به شما در صرفه‌جویی در بودجه خزنده (Crawl Budget) کمک کند، با این توضیح که خزنده‌ها به‌جای گشتن بی‌هدف در تمام صفحات سایت، روی بخش‌های مهم و ارزشمند متمرکز می‌شوند. همچنین از نظر امنیت و حریم خصوصی، می‌توانید دسترسی به محتوای حساس را محدود کنید و تجربه کاربری را برای بازدیدکنندگان بهبود ببخشید.

چرا فایل robots.txt مهم است؟

• کنترل دسترسی به محتوای سایت: شما می‌توانید تعیین کنید که موتورهای جستجو به بخش‌های خاصی از سایت شما دسترسی نداشته باشند.
• صرفه‌جویی در بودجه خزنده (Crawl Budget): بودجه خزنده تعداد صفحاتی است که موتور جستجو در یک دوره مشخص از سایت شما بازدید می‌کند. با استفاده از فایل robots.txt، می‌توانید مطمئن شوید که این بودجه برای صفحات مهم سایت صرف می‌شود.
• حفظ حریم خصوصی: با مسدود کردن صفحات خاص، می‌توانید اطلاعات حساس یا غیرضروری را از دید ربات‌ها دور نگه دارید.

مراحل ساخت فایل robots.txt

در صورتی که قصد دارید سایت خود را برای موتورهای جستوجو بهینه و سئو نمایید ساخت فایل robots.txt یا همان نقشه سایت ضروری است و مطابق آموزش زیر مراحل را انجام دهید، در صورتی که از افزونه‌های سئو سایت برای سایت وردپرسی مانند یواست سئو یا رنک مث استفاده می‌کنید با تنظیم کردن گزینه نقشه سایت این فایل به صورت اتومات برای سایت شما ساخته می‌شود و نیاز به ساخت مجدد آن نخواهید داشت.

1. ایجاد فایل متنی ساده

برای ساخت فایل robots.txt، به یک ویرایشگر متن ساده مانند Notepad یا TextEdit نیاز دارید:

1. ابتدا یک فایل جدید ایجاد کنید و سپس فایل را با نام robots.txt ذخیره کنید.

2. افزودن دستورات به فایل

دستورات فایل robots.txt معمولاً شامل موارد زیر است:

a) مشخص کردن User-agent

این دستور مشخص می‌کند که تنظیمات برای کدام ربات اعمال می‌شود. به‌عنوان مثال:

User-agent: *

علامت * نشان‌دهنده این است که تنظیمات برای تمام ربات‌ها اعمال می‌شود.

b) استفاده از Disallow و Allow

• Disallow: بخش‌هایی که نمی‌خواهید ربات‌ها به آن دسترسی داشته باشند.
• Allow: بخش‌هایی که می‌خواهید ربات‌ها به آن دسترسی داشته باشند (حتی در صورت قرارگیری در زیر دایرکتوری مسدود شده).

مثال:

Disallow: /admin/
Allow: /admin/help.html

این دستور مشخص می‌کند که تمام صفحات در پوشه admin به‌جز صفحه help.html مسدود شوند.

c) نقشه سایت (Sitemap)

اضافه کردن لینک نقشه سایت به فایل robots.txt به موتورهای جستجو کمک می‌کند تا بهتر سایت شما را ایندکس کنند:

Sitemap: https://www.example.com/sitemap.xml

3. آپلود فایل به سرور

فایل robots.txt باید در دایرکتوری ریشه سایت قرار بگیرد. به‌عنوان مثال، آدرس آن باید به‌صورت زیر باشد:

https://www.example.com/robots.txt

4. تست فایل robots.txt

برای اطمینان از عملکرد صحیح فایل، می‌توانید از ابزار تست robots.txt در Google Search Console استفاده کنید. وارد Google Search Console شوید و سپس از بخش تنظیمات، ابزار تست robots.txt را باز کنید و در نهایت فایل را بررسی کرده و اطمینان حاصل کنید که دستورات به‌درستی کار می‌کنند.

مثال هایی از فایل robots.txt

1. فایل robots.txt ساده

User-agent: *
Disallow:

این فایل اجازه دسترسی به تمام بخش‌های سایت را به تمام ربات‌ها می‌دهد.

2. فایل robots.txt با محدودیت

User-agent: *
Disallow: /private/
Disallow: /tmp/

این فایل دسترسی به پوشه‌های private و tmp را مسدود می‌کند.

3. فایل robots.txt برای گوگل بات

User-agent: Googlebot
Disallow: /test/

این فایل تنها دسترسی گوگل بات را به پوشه test محدود می‌کند.

نکات مهم در ساخت فایل robots.txt

یکی از موارد کلیدی هنگام ایجاد فایل robots.txt، توجه به حساسیت این فایل به حروف بزرگ و کوچک است. نام فایل باید حتماً به‌صورت کوچک (robots.txt) باشد و دستورات داخل آن نیز به درستی نوشته شوند. موتورهای جستجو این حساسیت را رعایت می‌کنند، بنابراین هرگونه اشتباه در نام‌گذاری یا نوشتن دستورات می‌تواند منجر به نادیده گرفتن فایل یا اجرای اشتباه دستورات شود. علاوه بر این، ترتیب و شفافیت دستورات اهمیت بالایی دارد. اگر چندین دستور متناقض در فایل وجود داشته باشد، معمولاً موتورهای جستجو دقیق‌ترین و مشخص‌ترین دستور را انتخاب می‌کنند. بنابراین بهتر است دستورات را به شکل واضح و بدون ابهام بنویسید تا تداخلی ایجاد نشود.

نکته مهم دیگر، اجتناب از قرار دادن دستور Disallow: / به اشتباه در فایل است. این دستور باعث مسدود شدن کامل سایت برای ایندکس شدن توسط موتورهای جستجو می‌شود و می‌تواند به سئو سایت آسیب جدی وارد کند. همچنین باید توجه داشته باشید که فایل robots.txt تنها یک راهنمایی برای ربات‌ها است و برخی از ربات‌های غیرمعتبر یا مخرب ممکن است آن را نادیده بگیرند. برای حفاظت از اطلاعات حساس، استفاده از روش‌های مکمل مانند محدودیت‌های سرور یا رمزگذاری ضروری است.