Home > ARS開発日誌 > 検索エンジンクローラーに合わせたサイト構造

検索エンジンクローラーに合わせたサイト構造

2007-09-03 (月)
ARS開発日誌

Amazon Review Search では、公開当時から「アクセスの多いページはよりアクセスが多く」なるようなサイト構造をしています（というか正確には目指していました）が、ここでサイト構成を変更することにしました。

Googlebot の動きを観察すると、意図的にクローラーの巡回を促したページを中心として、深い階層までクローラーが巡回していき、特定のジャンルに関するページが増えていくようです。極端な話、Googlebot にはサイトのトップページ（もしくは、起点となるページ）さえ知らせれば、サイトが持つリンク構造を適切に再現しながら、クロールしていく傾向があります。

それに対して Yahoo のクローラーは、トップページをメインにクロールしていき、トップページ付近のリンクを好んでクロールしていくようです。というか、クローラーの巡回頻度が低すぎて巡回ルートを把握できません。

というわけで、Yahoo! 対策の一環として、トップページの注目ワードの変更と、日別アーカイブページへのリンクを貼ってみました。日別アーカイブページは、ログから人気カテゴリをタグクラウドで表示するようにしています。また個別商品については、この前の記事の方法で商品画像を表示させています。画像を見ると、肌色が多くてお恥ずかしい限りです(^^;

また、新ジャンル開拓の為、売れ筋商品へのリンク追加と、各ページの人気カテゴリリンクの変更を、様子を見ながら行いたいと思います。

これで、Yahoo! のインデックス数の低迷と、Google のアダルトジャンルばっかクロールが改善される、といいなぁ。

Tags :
クローラー?巡回頻度?Seo?Yahoo??