robots.txtでCSSファイルはDisallowするべき？

2020/07/22

こんにちは奥田です！

今回はGoogleのクローラーを制御できるrobots.txtで一見不要そうに見えるCSSファイルなどはDisallowすべきかどうかということについて、YouTubeでのJohn Muellerさんの回答を元にまとめていきたいと思います！

robots.txtでcssをDisallowした方がいい？

答えとしては、NO。
動画内では、*.cssということでしたが基本的にはCSSファイルはインデックス化されないが、それ以上にCSSファイルにアクセスできないことにより適切にレンダリングができないことがダメだと言ってます。

GoogleはすでにHTMLファイルデータだけを見ているわけではありません。それは昨今のWebサイトの作りがとても多様化してき、ファイルデータを見るだけでは判断できないからです。

例えば、この動画内で述べているのは、モバイルフレンドリーかどうかの判断がCSSファイルにアクセスできないとわからないということでした。

それ以外にもJavaScriptだけでできているWebサイトなども最近では珍しくなくなってきています。そのときにはもちろんレンダリングしないと、疑似HTMLを把握できないのでレンダリングします。

なので、無闇矢鱈にDisallowすべきではないということをこの動画では伝えていました。

動画内では、CSSファイル以外にも、php.iniや.htaccessなどのファイルもDisallowするべきか？というのもありましたが、こちらもDisallowしなくてよいということでまとめていました。

つまりは、Webサイトの本編に入ってこないものでGoogleにインデックスされたくないというものをDisallowにして、それ以外のものにはなるべくDisallowをすべきではないんじゃないんかなと改めて思いました。