robots.txt محدود کردن موتورهای جستجو – آموزش بهینه سازی سایت – #9

استفاده مناسب از robots.txt

محدود کردن موتورهای جستجو بوسیله robots.txt

فایل robots.txt یک فایل متنی است و به موتورهای جستجو این پیام را می دهد که اجازه دسترسی به کدام قسمت وب سایت شما برای جستجو شدن را دارند . این فایل که robots.txt نام دارد در ریشه یا root سایت شما قرار داده می شود .

شاید شما به هر دلیل نخواهید صفحه ای از سایت شما جستجو شود ( شاید آن صفحه در صورت جستجو شدن توسط موتورهای جستجو برای کاربران قابل استفاده نباشد ) . اگر شما می خواهید که مانع جستجو شدن صفحه وب سایت خود توسط جستجو گران شوید google webmaster tools به شما کمک خواهد کرد یک فایل robots.txt را با استفاده از ابزار robots.txtgenerator برای وب سایت خود بسازید .

به یاد داشته باشید اگر سایت شما از زیر دامنه ها استفاده می کند و شما می خواهید که یک صفحه خاص از یک زیر دامنه جستجو نشود شما باید فایل rrobots.txt جداگانه ای برای زیر دامنه خود ایجاد کنید.

برای اطلاعات بیشتر در مورد robots.txt ما به شما پیشنهاد می کنیم از راهنمای webmaster help در مورد نحوه استفاده از robots.txt استفاده کنید.

راه های دستی دیگری نیز برای جلوگیری نمایش محتوا در نتایج جستجو وجود دارد مانند افزودن ربات های متا تگ noindex و . httaccess برای مراقبت از رمز عبور دایرکتوری ها و استفاده از google webmaster tools برای پاک کردن اطلاعاتی که قبلا جستجو شده است .

نمونه ای از یک فایل متنی robots.txt که در اینجا اجازه دسترسی به زیر شاخه های /images و /search محدود شده است

دسترسی به یک فایل متنی robots.txt از طریق url و آدرس

تمرین

---

از روشهای امنیتی بیشتری برای محتواهای مهم و حساس استفاده کنید

• وقتی که مطالب حساس ومحرمانه را بوسیله Robot.txt مسدود کردید شما نباید احساس راحتی کنید. این به این علت است که اگر این url ها به جایی در اینترنت لینک شود ( مانند لاگ های ارجاعی) موتورهای جستجو حتی با توجه به مسدود شدن url ها می تواند به آنها مراجعه کند ( نمایش url ، بدون عنوان و یا نمونه ها ).

• موتورهای جستجوی نا موافق و سرکش که از استاندارد های ربات ها پیروی نمی کند می توانند از ساختار robots.txt سر پیچی کنند و تمامی مسیر ها را بررسی کنند .

• یک کاربر کنجکاو می تواند با امتحان کردن دایرکتوریها مسیر فایل robots.txt و آدرس هایی را که شما نمی خواهید دیده شوند را حدس بزند .

رمزنگاری کردن محتوا و یا استفاده از مراقبت رمز عبور به وسیله .htaccess از راه های چاره هستند که در آموزشهای بعدی بهینه سازی سایت مطالب بیشتری در مورد آنها گفته خواهد شد.

---

از انجام دادن موارد زیر اجتناب کنید :

• اجازه دهید نتیجه جستجو مثل صفحات جستجو شوند و در صفحه نتایج جستجو ظاهر شوند

  مخاطبان و جستجو گران دوست ندارند از یک صفحه جستجو به صفحه جستجوی دیگری بروند

• ایجاد لینک های مطالب و کلماتی که توسط جستجوگران جستجو شده است به صورت خودکار