ربات تکست چیست ؟
این مطلب مکمل موضوع آموزش وبمسترتولز گوگل می باشد چون یکی از گزینه های مهم در وبمتسرتولز همین میباشد که مشخص کننده مسیر دهی به خواندن یا نخواندن بخشی از سایت ما میباشد باید این را قبول کرد که رباتی مانند گوگل بدون اجازه هم وارد قسمت های مختلف میشود فقط امیدواریم که به دستورات داده شده عمل کند البته همین را هم شاهد هستیم .
خب طبیعی است که ایندکس بعضی از فایل ها حتی میتواند به امنیت وب سایت شما صدمه وارد کند و شما دوست ندارید کسی آن ها را ببیند در جایی دیدم که حتی میتواند به دلیل دسترسی به تمام سایت ربات های زیادی وارد سایت میشوند و باعث افزایش فشار به سرور میشود! ربات تکست نقش بسیار مهمی را در سئو ایفا میکنند و باید با دقت ساخته و تنظیم شوند.
ربات تکست و
مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.
ساخت فایل روبات تکست
در سئو بسیار مهم میباشد که که شما فایل ربات تکس را درست ایجاد کنید برای ساخت فایل روبات تکست ابتدا در نوت پد notepad یک فایل متنی ساده با پسوند txt و سپس در روت سایت خود آن را آپلود کنید .
مثال آدرس فایل روبات تکست ایران سئو سایت به صورت زیرمی باشد :
مهمان عزیز شما قادر به مشاهده پیوندهای انجمن مانشت نمی‌باشید. جهت مشاهده پیوندها ثبت نام کنید.
همانطور که میبینید یک سری دستور در کد ها دیده میشود که میتواند موتور را بررسی و ایندکس صفحات دور کند یا حتی دسترسی کامل یک موتور جست و جو مانند گوگل و یا یاهو را به طور کامل متوقف کند.
دستور عدم دسترسی تمام ربات ها به محتوای سایت شما به صورت زیر می باشد :
User-agent: *
Disallow: /
دستوراتی هم که در عکس بالا میبینید برای عدم دسترسی به محتوای یک فایل خاص مانند wp-admin یا wp -include
می باشد.
تذکر : به یاد داشته باشید که / در آخر پوشه ها آورده شود در غیر این صورت روبات ها آن را به عنوان فایل خواهند شناخت و فایل ها و پوشه های داخل آن را کاوش خواهند کرد.
شاید حالتی پیش بیاید که شما دوست نداشته باشد اصلا فایل ربات تکستی داشته باشید در این حالت هم توصیه میکنیم حتما یک فایل با این محتوا ایجاد کنید :
User-agent: *
Disallow:
در این صورت تمام سایت شما ایندکس خواهد شد.
اینم از ربات تکس و نقش آن درسئو مقاله بعدی به گوگل آنالیتیک می پردازیم.
کنترل ربات گوگل با فایل ربات تکست 