ついにGoogleがクロール時にJavaScriptを実行した形でページを読んでくれるように

Pocket

JavaScriptで動的に生成しているページだとGoogleが適切にクロールできないためSEOに良くない(PhantomJSなどであらかじめレンダリングしたものをクローリングさせる必要がある)といった問題がありましたが、ついにJavaScriptを実行した状態のページをクロールしてくれるようになるようです。(ソース元:Understanding web pages better

時代の流れとしては当然か

より良いUXを目指して、どんどんウェブサイトがシングルページアプリケーション化している現状を見れば、流れとしては当然かなーと思います。

Traditionally, we were only looking at the raw textual content that we’d get in the HTTP response body and didn’t really interpret what a typical browser running JavaScript would see.

(中略)

In order to solve this problem, we decided to try to understand pages by executing JavaScript. It’s hard to do that at the scale of the current web, but we decided that it’s worth it.

というわけでJavaScriptを実行しながらウェブページを読んでくれるようになるようです。

GoogleのクローラがJavaScriptを実行するにあたっての注意事項としては、

  • JavaScriptを実行するためにJSファイルやCSSファイルもクロールするので、htmlだけ読むときよりサーバ負荷がかかるよ。
  • JSファイルやCSSファイルへのリクエストをrobots.txtなどで拒否しないようにしてね。
  • 複雑すぎるJSは適切に実行できないかもしれないよ(テヘペロ

といった事項が挙げられています。ちゃんとクローラが読めるようになっているか、チェックしておきましょう。

また近日中に、適切に動的なページがGoogleに認識されているかどうかをチェックする機能がウェブマスターツールに追加されるようなので、そこをチェックしても良いかも。

Understanding web pages better