ساخت Robots.txt

بهینه سازی برای موتورهای جستجو

ساخت Robots.txt


پیش فرض - همه ربات ها:  
    
تاخیر در کرال:
    
سایت مپ: (در صورتی که ندارید خای بگزارید) 
     
ربات های جستجو: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
دایرکتوری های غیر مجاز: این مسیر به نسبت شاخه روت است. حتما اسلش پایانی را قرار دهید "/"
 
 
 
 
 
 
   



حال فایل Robots.txt را در شاخه دایرکتوری روت بسازید. متن بالا را کپی کرده و داخل فایل ساخته شده قرار دهید.


درباره ساخت Robots.txt