那順便貼一下 robots.txt 範例好了
代碼:
User-agent: *
Disallow: /wp-includes/
User-agent: baiduspider
Disallow: /
User-agent: Gaisbot
Disallow: /
User-agent: Slurp
Crawl-delay: 10
User-agent: Yahoo-Blogs/v3.9
Crawl-delay: 20
User-agent: MSNBot-Media
Disallow: /
Slurp, Yahoo-Blog 都是 Yahoo Bot, 設 Crawl-delay 比較不會這麼常來。