ピックアップ,最新動向,突撃！マット・カッツ

Googleはどのようにして更新したアルゴリズムを評価しているのですか？

2014年04月05日　ネズミ1号：略称「T」
, ,
このエントリーをはてなブックマークに追加

film.png今日は遥々オーストラリア、シドニー、ジェームズさんからの質問です。「一連の反復するアルゴリズム変更を行いながらグーグルはどのようにして特定のアルゴリズム更新がユーザー体験を向上したとか判断するのでしょうか?何か判断基準などはあるのですか？」
matt:非常にグレートな質問ですね！話すと長くなりそうなのですが、このビデオは5分以内にするようにしているのでなるべく収まるように頑張りますね。



matt:はい、おっしゃる通り、個々のエンジニアがアルゴリズムを更新した時は、いつもその更新が良い体験を生んだか知りたいと思いますしその必要があります。
その一つの方法として数百人からなるクオリティーレイターさんがいらっしゃいます。彼らは、特定の検索結果などについてこれはいい！とかこの部分はスパムだとか見てくれる人たちです。

例えば僕らが変更を実行したとき、検索結果に変化が起こりますね。上がるものもあれば下がるものも出てきます。

matt:大きな変動があるような事例なんかは、サーチクオリティレイターさんにチェックしてもらって、高いランクに評価されたものと低めに(irrelevant)に評価されたものなどを調整したりもします。時には、レイターからの評価データが格納されたデータベースを基に事前に計算されたランキングデータを作ったりします。時には良い（適切だ）～悪い（不適切だ）という評価シートなども作ってデータを作ることもあります。そうして作成したSERPsをまた違うレイターにSideBySideみたいなもので見てもらったりするのです。そうすると、違うレイターは、このクエリー意図ならこっちの結果の方がしくっりくるとか、なぜなのか、かくかくしかじかだからとか、このURLはスパムだよとか評価してもらってデータを収集するのです。

matt:そうして収集したデータをもとに、アルゴリズムの評価を事前に行ったりしています。

更にローンチ前の段階では、実際にスモールテストも行ったりもします。実際に小規模の利用者を対象に、更新前の検索結果と新しいアルゴリズムを導入した検索結果をABテストするんです。そうすることで、こっちの検索結果の方がよりクリックする人が多い！とか実際に検証するのです。新しいアルゴリズムによって生成された検索結果がより多くのクリックを獲得したのなら、おそらく狙い通りの良い結果を返していると判断することになるでしょうね。

ただ、時には、スパムサイトが意外とクリックされることが多いケースも出たりするんですね。どんな理由かはわかりませんがこうしたことが起こるのが実証実験の面白いところですね。そういう意味では、僕らの下した判断基準が使えないこともあるのですね。スパムが好んでクリックされたりする事が時たまありますが、僕らとしてはスパムはやっぱり目立つところに置きたくはないですし、そういう場合新しいアルゴの更新はよろしくない？なんて判断することもありますね。

matt:まぁこういうこともあるので、僕らは様々な評価基準を沢山活用して品質を担保するようにしています。例えば、問い合わせワードに対して返すページ自体の内容がしっかりしているか？適切か、関係ない内容であるかなど判断基準を設けて評価もしています。その他には、そのページがしっかりした権威のあるもかなんかも隅々までみてチェックなどもしますね。

そうした評価基準をブレンドして、こっちの方がちょっとでもいいね、とか、言語、国などにおけるさまざまなケースを踏まえ評価させていただいています！そういう点でいろいろなスパムが出てきても、スパムに詳しいレイターさんからの情報で、僕らは即対応をしますし、特定国やエリアでスパムが増えたりしたらその点に留意して対応したりもします。

matt:こうしたシステムに沿って、大きな変更の時にはアルゴリズムをロールバックして復活したり、改善したりしています。大体こういう流ですが、まぁうまく機能していると思います。エンジニアがひらめいた面白いアイデアなどもこのようにして更新される感じですね。いかがでしょうか？

ねずみ小僧：アルゴリズムのロールアップスキームについては以前も説明頂いたと思いますが、基本は、事前にレイターさんなどの評価データやサイドバイサイドやスモールテストでしっかり確認しているということですね。さまざまなアルゴリズム因子が作用して狙い通りに良い検索結果リストが生成されているのか、何重にもシステム化された段階を経て世に出るということなのですね。ただ、面白かったのがスモールテストでスパムなURLがクリックを多く獲得することもあるのですね。そういう意味では一般の人にとってタイトルがやっぱり重要ということでしょうか？ただクリックだけでなく滞在時間なども見ていると思うので、スパムなサイトはランディングしてからもちょっとびっくりさせて時間を稼ぐような新手のテクニックも使っているのかもしれませんが、やっぱり人間の心理って科学では説明できないことも時にはあるということなのでしょうか？

, ,


関連記事


ページの先頭に戻る