صفحهٔ اصلی گشت‌و‌گذار راهنما
ثبت نام ورود
admin
/
crawler
1
0
انشعاب 0
پرونده‌ها مشکلات 0 درخواست واکشی 0 ویکی
درخت: 9fd2527292
شاخه‌ها تگ‌ها
crawler
/
robots.txt

robots.txt 23 B
تاريخچه خام

12 
  1. User-agent: *
    2. 

  2. Disallow:
    3.