データ解析を駆使して食べログ3.8問題が証明できなかった話

(2019/10/12追記 データ解析のプログラムもGitHubで公開しました)

(2019/10/15追記 会員の見分け方に誤りがありました。本文中では"非会員"と"有料会員"に分けると述べていますが、正確には"非会員・無料会員"と"有料会員"に分かれています。以後の図・文章は脳内で変換していただけると幸いです。詳細は https://anond.hatelabo.jp/20191011180237 で他の方が調べてくださっています)

はじめに

この記事は、藍屋えん氏( @u874072e )の以下のブログに触発されて、個人的に行った一連のデータ解析をまとめたものです。

clean-copy-of-onenote.hatenablog.com

上のブログでは、食べログ3.8問題と称される問題、

「評価3.8以上の店舗は年会費を払わなければ評価を3.6に下げられる」

との説を食べログの店舗データの解析により検証しています。

(存在が証明されたわけではないため、今後は食べログ3.8仮説と呼ぶことにします)

ブログ上で挙げられているヒストグラムは、評価点の分布に明らかに偏りがあることと、評価点3.6付近にピークが存在することなどから、この問題の存在を示しているように思えます。

このブログに触発され、私も、藍屋えん氏と同様に食べログ上の店舗評価を収集・解析して食べログ3.8仮説の検証を行いました。

あらかじめ言っておきますが、本記事では、食べログ3.8仮説は証明できないということを最終的に示します。

以上のことを念頭に置いたうえでお読みいただければ幸いです。

実験方法

本解析では、Pythonを用いたデータスクレイピングにより、以下のデータを収集しました。

取得対象：46都道府県すべてにおける評価数100以上の店舗
収集対象：店舗名、評価数、評価点、食べログ店舗会員か否か

対象が食べログ店舗会員かどうかは、店舗ページのトップに写真があるか、店舗側の書いたセールス文章が表示されているかでわかります。

最終的に集まった全6852店舗のデータを用い、解析を行いました。

実験の前に

収集データの確認

まずは、正しくデータが取得できたかを確かめるために、藍屋えん氏がブログ上で展開している大阪府のヒストグラムと同様の図を作成して比較してみます。

Fig.1 大阪府の食べログ評価点分布

前述のブログ上における図と同様に、以下の傾向が確認できます。

• 評価点3.8の前後での分布の変化
• 評価点3.6付近における店舗数のピーク

以上の結果から、本実験では藍屋えん氏が得たものと同じようなデータが収集できていることが確認できました。

食べログ3.8仮説が真の場合の評価点分布

食べログ3.8仮説を検証するためには、仮説が真の場合にどのような評価点の分布になるかを明らかにする必要があります。

今回は、評価点の分布が正規分布(平均 μ = 3.7, 標準偏差 σ = 0.27)であると仮定します。

分布の作成は以下の手順で行いました。

1. 評価点の分布のうち、1:4の割合で会員/非会員を分割。その後、非会員を評価点3.8以上/以下で分割し、合計3つの場合に分類した。
2. 非会員のうち、評価点が3.8を超える部分を削除。
3. 手順2で削除した店舗の評価点がすべて3.6となるように追加。

以上の手順を示した図を以下に示します。

Fig.2 食べログ3.8仮説が真の場合の評価点分布の作成

最終的に得られた分布FIg.2(3)は、3.6付近のピークが若干シャープすぎるように思われますが、Fig.1と類似したような分布となっています。

Fig.2(3)を、非会員/会員の割合とともにプロットした図を下に示します。

Fig.3 食べログ3.8仮説が真の場合の分布と非会員/会員割合

以上のように、仮に評価点3.8以上の非会員店舗がすべて評価点3.6付近に落とされている場合、評価点3.6付近で非会員の割合が大きく増加することが予想されます。

つまり、食べログ3.8仮説を検証するには、非会員/会員の割合の変化を見る必要があります。

実験結果

各地域ごとの評価点分布

それでは、収集したデータの解析に移ります。

まずは、収集したデータを"北海道、東北","中部", "中国・四国", "関東", "関西", "九州・沖縄"の6種類に分け、それぞれの地域ごとの評価点分布をプロットしました。

Fig.4 各地域ごとの食べログ評価点分布

 Fig.4より、すべての分布で「評価点3.6付近における店舗数のピーク」が存在することが分かります。また、中部地方を除くすべての地域で「評価点3.8の前後での分布の変化」も確認できます。

以上の結果から、藍屋えん氏が発見した一連の傾向は、日本全国の評価点分布に存在することがわかりました。

しかしながら、会員・非会員に分けてみると、食べログ会員店舗の評価点分布にも3.6付近にピークが存在することが分かります。

全国の評価点分布と非会員割合

次は、この分布をすべてまとめた全国の評価点分布と、非会員/会員の割合をプロットした図を見てみます。

Fig.5 全国の食べログ評価点分布と非会員の割合

Fig.5 からは、食べログ3.8仮説が真だった場合に想定される、評価点3.6付近の非会員割合の増大は確認できないことがわかります。

評価点3.25辺りで非会員割合が増大していますが、これは、この範囲での対象店舗数が少ないことが原因だと思われます。

また、評価点4.0以降では非会員の割合が減少していますが、こちらもそもそも店舗数が少ないため、有意な差であるかを判定することは困難です。

以上の結果より、少なくともインターネット上で公開されているデータだけでは、食べログ3.8仮説を証明することは不可能であることが示唆されます。

まとめ

本記事では、食べログの店舗評価データのスクレイピングにより、以下の食べログ3.8仮説の検証を試みました。

仮説：食べログ評価3.8点以上の店舗は年会費を払わなければ(食べログ店舗会員でなければ)評価を3.6点に下げられる

各地域ごとの評価点分布からは、明らかに評価点3.6付近で店舗数の増大が認められました。また、3.8点付近での分布の変化も確認され、藍屋えん氏が発見したこれらの傾向は、全国的に存在することが示されたといえます。

しかしながら、この仮説を証明するためには、食べログ評価点3.6付近において、非会員店舗の数が会員店舗に比較して有意に大きいことを示す必要があります。

そして、今回得られたデータでは、評価点3.6点付近での非会員割合のピークは認められませんでした。

以上の結果より、食べログ3.8仮説は収集したデータからは証明できないことが明らかとなりました。

最後に

最終的には仮説が証明できない、否定的な結果となってしまいましたが、全国的な評価点分布の傾向、そして個別の評価から考えれば、食べログ運営が評価点に何かしら恣意的な操作を加えていることは明らかです。

食べログ曰く、この評価方法は『食通度合い』と言われているようですが……。(現在も用いられているかは不明)

『食べログの点数はどうやって決まる？』い～ちんさんの日記 [食べログ]

この記事を見て、本当にそれだけか？　もっと他に隠していることがあるのでは？　と勘ぐってしまうのは自然なことです。

皆さん食べログの評価方法に同様な不満を抱いていて、その不満をぴったり可視化してくれる(ように見える)のがあのブログ記事だったのではないでしょうか。

しかしながら、少なくとも、この『食べログ3.8仮説』は今回の解析で存在を証明できないことが明らかになりました。

(陰謀というものはそう簡単に尻尾を出さないものです)

食べログ運営のみなさんが、この不当な風評で苦しむことがないように祈るばかりです。

それでは、長い投稿を最後まで見ていただきありがとうございました。

konkon

追記:

スクレイピングとデータ解析に用いたプログラムをGitHubに置いておきます。

GitHub - konkon3249/tabelog_scraping

自分でもやりたい！　という人がいたらどうぞ。