すごくい久しぶりに投稿しますが、今海外出張中で、ちょっと時間ができたので検索エンジンのランキングと機械学習についてちょっと考察してみました。実はちょっとした機会にRankBrainの話をたまたますることになったのですが、検索してみると、なんだか神秘のベールに包まれてAIを使った何か？みたいな説明が沢山あったので、「こんな感じだと思うよ。」という観点で検索エンジン会社が自立型学習アルゴリズムを検索サービスに導入するとしたらこんな設計で組み込むはずという部分を考察していましたので紹介します。
検索エンジンのキモは、なんといっても検索フレーズの意図する意味を理解する事
検索エンジンは、検索ワードをインプットして、その結果を多くのURIとメタ情報ががインデックスされているデータベースから結果を一覧表示するというシンプルなサービスですね。
現在検索企業では、検索するフレーズの意図を正確に把握して、ドンピシャな検索結果や、CTRが高くROIが高い広告をマッチングさせることがKPIの一番重要なベンチマークとなっていると思います。
検索フレーズの意図を理解するという事に関して、検索エンジン会社はさまざまな技術を駆使して検索した結果一覧表示画面を最適なものにしようとこれまで努力してきたわけですね。
Googleなんかは、どちらかというと、検索結果に一覧表示するものをリンクが沢山張られているページはみんなが役に立つということで参照しているはずというアルゴリズムを使って、検索フレーズが入っているページにスコアをつけて一覧表示する順位をきめる要素の一つとしてきたり、また共起という関連語彙が含まれる比率などもみながら、どいうページなのかをある程度ライブラリ化した上で、問い合わせクエリーに最適化された結果を順位だえでなく、結果の多様性や旬さなんかの要素も組み込んで表示していたという感じだと思います。
まぁこの結果の多様性と旬さというのは、ドンピシャな結果だけでなく、セレンディピティな情報も表示することで、思わぬ寄り道をしてナレッジを得るというユーザーメリットなんかも考えているんだろうなぁとお思うのですが、それと同時に広告を結構意識している部分も多々あるように思ったります。
Google社もその収益の多くはまだキーワード広告が占めているのが実態で、BigWordなどの検索結果にListing広告が沢山とおいうケースも皆さん経験しているかと思います。
中国のBaiduなんかでは、以前検索結果に表示された広告による医療行為に不利益を被ったとしてマスコミやメディアで騒がれたりしましたね。
ようするに、ユーザーの利便性と収益という点においても、検索会社は今いろいろな面で考えなければならいことが沢山あるという感じでしょうか。
検索エンジンサービスについてかるーく私的な見解を記してみましたが、冒頭で出たランクブレインについて、実際どんなものなのか、マシンラーニングという機構を検索エンジンに組み込みならばこうするだろうなぁという観点で整理してみますが、おそらく2つの点を改善すべく機械学習を活用していると個人的には思いました。
まず1つ目は検索ワードの意図を人間のように予測して理解できるようにするのに使う。
そして2つ目は問い合わせクエリーに対する有益な答えはどいうのがいいいのか理解し学習して提示するのに使う。
今ホットなAI技術の根底には機械学習という技術があります。コンピュータが自動的にデータを読み込み、さまざまなケースに分類してこれは正、これは否という風に分類して知識の体系を作り上げるような機能ですね。一般的には画像認識技術などを得意とする技術ですが、最近になってようやく自然言語処理の領域においてもこうすればきちんと学習できるといのが学会で立証しはじめられたりしてホットなトピックとなっているようですね。
そういう意味では検索エンジン企業がこれまで設ぼしていた検索語彙の意図の理解（Imagine and Under stand the Query Word intention）と部分と要求されているオーダーに対して、最適な答え（検索結果SERPS）をどう表示すると検索者にとってよろこばしいのか？の2点について、人のように予測、理解し、コンシェルジェのようにドンピシャンな結果からこんなのもありますという結果までをさりげなく提示できるよう機械学習技術を駆使するのは当然な流れだと思ったりしすが、いかがでしょう？
検索系の話だとRankBrainのようにこれまでQuarityRatorや、さまざまな技術スタッフによって支えられていた確率統計的な検索結果表示を維持するプロセスに機械学習的な技術を取り込むという点でRankBrainと呼ばれるようなアルゴリズムが話題になっていいるようですが、一方でアミットシガールさんなかはマシンラーニングによる偏りなどを危惧してこういう動きには反対だったみたいですね。
実は機械学習はすべての事象について必ずしも万能というわけではなく、ここ数年新たに飛躍的に注目されて自然言語処理や音声認識技術などにも応用されてつつあるというのが現状だと思います。
IBMのワトソンなんかも、海外のキーボードアプリ企業を買収して、人が入力する言語パターンを機械学習したり、Siriに代表されるように、Googleなどでも音声認識技術の精度向上にも機械学習の技術が使われていると思います。
web1.0とか2.0とか3.0とかITの世界ではいろいろなことが言われてきましたが、ここ数年のホットなトピックはこの機械学習とIOT（モノのインターネット）みたいなもっとより生活に密着した基盤技術になる要素に注目が集まっているように思います。
ということで、ランクブラインについて、まるで崇高なラスボスのような説明が多かったようにい思ったので、出張中の空き時間に久々に本サイトに言いたいことだけつらつらと書き記してみました。
ではでは
アフィリエイトサイトを作る過程でQ&Aサイトから学んだこと...
Google Analyticsの解析結果を元にサイトを改善した結果...
私がブログを運営していたからこそ得られたこと...
サブディレクトリで関連ジャンルを新規サイト風に作成した初動状況...
「Pomodoro Technique（ポモドーロ・テクニック）」を導入し、業務効率アップ！...
2016年11月03日 
