こんにちは。ねずみ小僧二号です。
最近新たなサイトを構築するという企業様を裏方としてサポートさせていただく機会がありました。
特段SEOを意識しなくともユーザー視点でサイトを制作すれば、良いサイトというものはできると思いますが、やはりGoogleにも優しく接するという視点をも持ち合わせればより良いサイトになるのではないかと考えています。
０（ゼロ）からサイト構築をスタートする場合にHTML要素やタグ要素などポイントはありますが、Googleのクローラーについてはあまり知っている人がいないのだなと思いましたので、今日はGoogleのクローラーについて思うところを書かせていただきたいと思います。
サイトを公開してもGoogleのクローラーによって検知されないといわゆる検索エンジンからのアクセスというものは来ないことになります。
クローラーはインターネット上のリンクを辿って巡回していますので、何かしら他のメディア（サイト）との繋がりを持たないといけないわけですね。
当サイトは最初は更新PINGのみでサイト認知を図りました。その後、SEM、SEOの専門サイト「晴練雨読」様に紹介されるようになり、徐々に範囲を広げていったという経緯を辿りました。
Googleのクローラーが巡回しているかどうかは、サーバーログでも解析できますが、Googleウェブマスターツールの「クロール」＞「クロールの統計情報」で確認することができます。
[クロールの統計情報] ページには、サイトでの過去 90 日間の Googlebot の活動が表示されます。この統計情報には、Google がダウンロードするすべてのコンテンツ タイプ（CSS、JavaScript、Flash、PDF ファイル、画像など）が含まれます。AdSense での取得の他、Google ニュース、Google 画像検索、Google Scholar などの Google のサービスでの取得も含まれます。
こちらのグラフを定期的に監視し、クローラーが巡回していれば特に問題ないと考えています。
公開したページがGoogleに認識されているか（キャッシュされているか）を確認するようにしましょう。コマンドはsite:URLです。
■Google の基本
Googleでは、大規模なコンピュータ群を使用して、ウェブ上の数十億のページを取得（クロール）します。取得プログラムはGooglebotと呼ばれ、ロボットやスパイダーとも呼ばれます。Googlebotはアルゴリズム化されたプロセスを使用します。クロールを実行するサイト、クロールの頻度、各サイトから取得するページ数はコンピュータプログラムによって決定されます。
私は上記Googleのガイドラインを解釈して、GoogleによるSEO評価はこのクローラーが起点になっていると考えています。
つまり、Googleにとってクロールする価値のあるサイトであると思ってもらう必要があるという風に捉えているのです。
「どうしたら自サイトをGoogleがクロールしたくなるだろう？」
この問いかけですね。しかも外部サイトから安易にリンクをもらうということを避けた上で。
市場・ユーザーとの対話、Googleとの対話、自社との対話を通して、サイトを常に最適化していく必要があります。特段SEO担当者という視点で言えば、Googleとの対話に注力すべきだと考えています。
サイト構築の初期段階ではこのGoogleクローラーがしっかり巡回してもらえるサイト運営が大切です。
Googleクローラーがしっかりと回ってくるようになったら、Googleインデックス数、WMTの検索クエリ、アクセス解析でのオーガニック流入数と流入ワード、ターゲットクエリワードのSEO順位と非ターゲットワードのSEO順位を定点観測していきます。
こうして自サイトがGoogleにどのように「site recognition type 」として認識されているのかを仮説立てて、コンテンツ企画に反映していく作業、公開したコンテンツのチューニング作業を継続的に行っていく流れを構築していきます。
今回の他社サイトの支援という業務を通じて、このクローラーという視点は非常に重要との認識を新たにしましたので、ご紹介させていただきました。
アフィリエイトサイトを作る過程でQ&Aサイトから学んだこと...
Google Analyticsの解析結果を元にサイトを改善した結果...
私がブログを運営していたからこそ得られたこと...
サブディレクトリで関連ジャンルを新規サイト風に作成した初動状況...
「Pomodoro Technique（ポモドーロ・テクニック）」を導入し、業務効率アップ！...
2013年12月30日 
