SEO対策をしているところでは十中八九導入しているであろう、ウェブマスターツール。
検索クエリ数やインデックス数をチェックするのに必須なわけですが、
先日、
「ページがちゃんと見えているのにウェブマスターツールではクローラーが500エラーと返していて原因が分からない。」
と言ったことを相談されたわけです。
ブラウザでは確かにページは見えていますが、ソースを見るとHTMLタグが崩れてました。
ソースが多少崩れててもブラウザ的にはある程度ちゃんと表示されていたので気付かなかったというオチだったわけですが、こういう場合はLynxというテキストブラウザでチェックするのが良いかと思うわけです。
上のリンク先の引用、
Lynx などのテキスト ブラウザでサイトを確認します。ほとんどのスパイダーには、Lynx で見えるようにサイトが映ります。JavaScript、Cookie、セッション ID、フレーム、DHTML、Macromedia Flash などの機能が使われていると、テキスト ブラウザではサイト全体が表示されません。この場合、スパイダーによるクロールが困難になる可能性があります。
というように検索エンジンのクローラーはたいていLynxで見たのと似たような形で見るので、Lynxでステータスコードが200と返ってくればクローラーはちゃんと見えてるということになります。
ちなみにLynxでこのブログを見るとこんな感じになります。
