robots.txtの書き方

サイトに設置をするrobots.txtの書き方をまとめておく。

まず、robots.txtの役割
googleやmicrosoftといった検索エンジンの運用するクローラ、
スパイダーがrobots.txtに記されたルールに従って動作をしますよというもの。（無視するクローラもいます。）

次にrobots.txtの書き方

robots.txtはサイトのトップに設置する。
・全て許可
User-agent:*
Disallow:
・全て拒否
User-agent: *
Disallow:/

・その他の例
Disallow:/*.jpg jpgは拒否
Disallow:/*. jpgは拒否
Disallow: /*images/ imagesフォルダは拒否
Crawl-delay:10 クロール間隔の指定(10秒)

google robots.txt