Home > ARS開発日誌 > 検索エンジンクローラーの巡回状況を確認する

検索エンジンクローラーの巡回状況を確認する

2007-08-22 (水)
ARS開発日誌

つい昨日までは Yahoo! にインデックスされていなかった Amazon Review Search ですが、いつの間にか Yahoo! のインデックスページが65ページとかになっていました。

（後で知ったのですが、どうやら、Yahoo! のインデックス更新があったようです）

で、最近一ヶ月のクローラーの巡回状況ですが、本当はグラフでも載せようかと思っていたのですが、それほどのグラフでも無かったので、現在のインデックス数と、一日の平均アクセス数を載せておきます。

Google
インデックス数：952ページ
検索結果ページ：73ページ/日
個別商品ページ：97ページ/日

Yahoo!
インデックス数：65ページ
検索結果ページ：11ページ/日
個別商品ページ：2ページ/日

Amazon Review Search のサイトの構造上、個別商品ページは階層が深くなります（といっても一階層深くなるだけなのですが）。Google が個別商品ページをクロールしているのに対して、Yahoo! は個別商品ページに関して、ほとんどクローラーが巡回せず、主な巡回先はトップページに貼ったリンクになっています。

上記のことから、Yahoo! のインデックスページを増やすには、トップページから浅い階層にリンクを多く配置すれば良さそうな雰囲気なのですが、Yahoo! のインデックスを増やす作業はとりあえず後回しにしておいて、もう少し検索エンジンクローラーの動きを観察したいと思います。

というわけで、Amazon Review Search にちょっと仕込んでみました。

結果はまた後日。

Tags :
クローラー?確認?巡回?クローラ??