فایل( robots.txt ) این را مشخص می کند که چه مطالبی از سایت توسط روبات(خزنده ی گوگل) دیده شوند و چه مطالبی از دید خزنده دور
مانده و ایندکس نشوند.
ایجاد فایل robots.txt که به درستی مطالب را مشخص کند و بخش های غیر مطلوب سایت را به خوبی پوشش بدهد کار ساده ای نیست،
به همین دلیل بسیاری از ساختن این فایل سر باز می زنند. گوگل وبمستر تولز با ارائه دادن (robots.txt testing tool )این کار را برای افراد
راحت ترکرده است.
شما می توانید این ابزار را در گوگل وبمستر تولز در بخش خزنده (crawl) ببینید:
در این بخش شما می توانید فایلی که با نام (robots.txt) وجود دارد را بررسی کرده و آدرس هایی که فعال هستند و خزنده می تواند
آنها را ببیند پیدا کنید. برای راهنمایی بهتر در مورد دستور العمل های پیچیده بخشهایی به صورت برجسته مشخص شده اند تا شما بتوانید
راحت تر به هدف خود دست یابید.شما نیز می توانید اطلاعات این فایل را تغییر داده و یا توسط این ابزار آنها را چک کنید. البته فراموش نکنید که
لازم است بعد از اعمال تغییرات نسخه تغییر یافته را در سرور آپلود کنید تا تاثیرات مربوط به آن در سایت ظاهر شوند.
علاوه بر آن شما نیز می توانید نسخه های قدیمی تر را بررسی کنید و مواردی که مانع شدند تا خزنده مطالب سایت را به درستی بیابد، پیدا
کنید. برای مثال اگر خزنده گوگل برای فایل (robots.txt) با خطای ۵۰۰ سرور مواجه شد می توانیم از ادامه ی فعالیت خزنده در سایت تا زمان برطرف شدن مشکل جلوگیری کنیم.
پیشنهاد می شود هر زمان که خطا و هشداری برای سایت خود دریافت کردید ابتدا فایل (robots.txt) مربوطه را مجدد چک کنید.
شما می توانید این فایل را با سایر گزارش های وبمستر تولز مقایسه کنید. برای مثال شما می توانید از ابزار به روز رسانی گوگل برای ارائه ی صفحات مهم سایت خود استفاده کنید و اگر آدرسی مسدود گزارش شده بود با استفاده از تستر فایل (robots.txt )دلیل بسته شدن آن را
ردیابی کرده و مشکل را برطرف کنید. خطایی که معمولا گزارش می شود مربوط به فایلهای قدیمی است که اسکریپت های جاوا یا CSS ها
را بلاک کرده است. شما با بررسی دقیق گزارشات و وضعیت فایل می توانید مشکل را برطرف کنید.
در مجموع ابزارهایی که گوگل هر روزه در اختیار کاربران قرار می دهد به منظور استفاده ی آسان تر آنها از تمامی امکانات موتور جستجو است.
برای برطرف کردن مشکلات و پاسخ به سوالات شما گوگل در این زمینه انجمنی به نام(webmaster’s help forum) را نیز ایجاد کرده که به
راحتی می توان در آن عضو شوید و سوالات خود را مطرح کنید.
