Comparing Rank-Tracking Methods: Browser vs. Crawler vs. Webmaster Toolsという記事で統計的にQWの順位計測方法により、どういう相関があるか面白いレポートがありましたので紹介します。検定手法は下記の通り以下の４つの手法でMoz.comに関する500ほどのQWを検討。このQWはある程度の順位と、実クリックデータを有するものをピックアップしたそうです。
- Browser – Personalized（ログイン状態での検索）
- Browser – Incognito（ChromeのIngognitoモード、履歴も一切記録しないステレスモード）
- Crawler（mozで開発した？スパイダーみたいなクローラーでSERPｓをクロールして結果をキャッシュ）
- Google Webmaster Tools (GWT)
さて、結果はいかに。
４つの計測結果の相関です。相関とは比べる結果を並べて確率変数で計算して、-１＜P<1の値で-1に近いほど負の相関が強い、１に近いほど正の相関が強いと検証する手法です。excelですと、２つの検定値を=CORREL(値列１、値列２）で簡単に求めることができます。下を見てみると当然Personal✕Personaがl同じ手法だと結果は１で当たり前ですが相関は一番強いのが分かります。
そこで、個別の異常値を手作業で調べたようですが、以下の様な事象をなにやら書いていますね。
データを見る限りそんなに変わらないと私個人としては思いました。ただひとついえることは、ログイン状態では、毎日見るようなネタ探しやたまに見るものなどの傾向により若干の変異が今後出てくるのだろうなぁということのみ想像させていただきました。とりあえずは、GWTやGRCなどの計測方法を正として運用してもいいのではないかと個人的には納得させていただきました。ただ、こちらのブログでは複数での検証をおすすめしているようです。これはSEOご担当としてはいろいろな担保として重要なことなのかもしれません。
当然ですが、ログイしていたり、してなくても、GoogleHistory（https://history.google.com/history/lookup?hl=ja）を見ると一目瞭然ですが、検索履歴や何を注目しているかレコードされてますので、よく見るサイトは上位にくるのは当たり前だと思いました。
※GoogleHistoryのイメージ
これは意味不明な結果だと書かれいますが、私の独断と偏見の予想では、パーソナライズされているから逆にintentionを別な解釈として解析されてしまっているのかもしれません。「what is an analyst」と検索したようですが、Moz.comをちょくちょく見ているような場合は、記事のタイトルとか書いた人とかで見ていることが多いので、広く一般に「アナリストとは何？」いった漠然とした広ろめの解釈が可能なクエリーを投げると、Wikipediaのようなinfomationalものが上位に来るのかもしれません。もし、語彙の属性による広義、狭義といったロジックなどによる補正ロジックが入っているとしたら確かに、上記4つの手法での順位結果にそんなに差異がでていないことも納得できるように思います。
今後、スマホなどログイン状態が多いデバイスでかつGoogleNowやAndroidに実装されているGoogleサーチ窓などのUIを見ているとこうした現象によるトラフィック変容など今はそんなに気になることはなくても、じわじわ得強が出てくるのだろうなと想像してしまいました。
結局「GWTは正確？ということが結論になっちゃいました？」ということでしょうか？でも、きちんと検定手法を用いてこういレポートを記載しているのはさすが脱帽です。でも結論として何が言いたいのかわかりませんでした。
ねずみ二号さん＞ここで一つ質問です。GRCなどの順位は、私的には、一般論として今回のケースで言う
の仕様でのランキング結果を弾くツールだと考えておりましたが、このレポート価値についてよろしければ追記などしてみてください！眠気眼にちょっと気になったネタでしたので紹介しましたが、斜め読みでの翻訳とレビューとなりましたので別な価値を見い出した方いらっしゃいましたらこちらからお叱りのご意見いただければ幸いです。
■追記 (2013/9/6 18:34)
こんにちは。ねずみ二号です。
一号さんに呼ばれたら出てこないわけにはいきませんね～。確かにこのようなデータで見ると、「なるほどね･･･」で終わってしまうかもしれませんね。
それではつまらないので、「インハウスSEOあるある」を一つ披露させていただきます。
やはり現場で厄介なのが、上司のブラウザでガンガン、パーソナライズが効いていて、
カバ上司：「やぁ、ねずみ君、今日順位が上がっとるやないか！どやっ、えぇ感じか？」
なんてデスクに呼ばれた時ですよね。。。
ねずみ小僧：「（まじかっ！これパーソナライズが効いている状態じゃないか、
今朝GRCでも自分のブラウザ（無効化した状態）でも1ページ目に上がってないし。。。）
あっ、ホントですね(汗)。部長のブラウザでは3位に表示されていますね。。。
私のほうではまだ12位でして、、、実は、最近パーソナライズド機能といってそれぞれのユーザで
よく見るサイトやオススメ的なサイトが上位に表示されるんですよ。」
カバ上司：「なんや、ほなこれは見せかけか？！今度はちゃんと上げてくれやぁ！」
なんてやり取りです(笑)。
ガチでインハウスSEO職をやられている方がいらっしゃったら、共感いただけるのではないでしょうか？
マット・カッツさん、ビデオで毎週のように興味深い情報を提供していただけるのは、たいへんうれしいのですが、現場は日々つらいのですよ。分かっていただけますかねぇ？！
ねずみ一号です。コメントありがとうございました。この関西弁の方私にも心当たりがあります！いつもご苦労さまです。Mozのデータではパーソナライズが利いているケースとIncognitoモードと比べてもそんなに変わらないといった結果が出ていましたが、500ワード統計なので、二号さんが日々プレッシャーを受けているようなBIGワード指定などのケースなどとは単純に比べられないのかもしれませんね。。ロングテール型サイトには、今回のmoz.comの調査は該当するのかもしれません。
まぁ要するに管理するWebサイトやオンラインサービスのビジネスモデルがどういうタイプかが重要という事なのかもしれませんね。
reflexaの記事にもありましたが、最近NLP関連の技術を活用した共起言語分析ツールも出ているようですので、G社の発表や現象観測型の記事などが多い感じですが、ハイライトなテーマでまとめをしてみようと考えています。だいたい下記4つぐらいのここ1･2年のテーマになりそうかと考えています。１は昔から続く技術、２はコンピューティングがムーアの法則で発展すると処理が膨大にできるようになり制度があがる技術、その他はNSPなどの自然言語処理やデータの構造化といった感じでしょうか？
1.オンライン上での投票評価（G社のコンピューティング：最近のペンギンで追加されたと思われるフィルタリグロジック）
┗HITs理論（The pagerank citation ranking:biring order to theweb1998/stanford)おさらい
２.クエリーワードのインテンション評価と該当するページを引っ張ってくるインデクシング技術
┗Evaluate and Matiching The Query words and page (Phrase Based Indexing/Single Word Indexing)とかGoogle社のPatent関連の整理（NLPに関連する技術もですね）
┗これとは別にデータに秩序をもたらそうというデータの構造化（セマンティックな流れもその一つ）
３.Google+：by whom?
┗その道の専門家、みんなが注目する人による情報（SocialStream文脈）
４.モバイル分野でのGoogleの戦略
┗オーケージョン文脈によるクエリーワードと引っ張る情報のマッチング
┗Googlenow,Android,GooglePlayなどFE（FrontEnd）分野においてどういったuser experienceを実現しようとしているか）
こちらまとまったらアップさせていただきます。ツール郡や分析系などは上記4つの観点を体系的にアナライズできるようなメソットを整理して、タグ付けできるといいかもしれませんね。本日はもう睡眠とらせていていただき、明日の朝本業のレポートがんばってまとめなきゃです。引き続きよろしくお願いいたします。
アフィリエイトサイトを作る過程でQ&Aサイトから学んだこと...
Google Analyticsの解析結果を元にサイトを改善した結果...
私がブログを運営していたからこそ得られたこと...
サブディレクトリで関連ジャンルを新規サイト風に作成した初動状況...
「Pomodoro Technique（ポモドーロ・テクニック）」を導入し、業務効率アップ！...
2013年09月05日 
