前回の記事ではSaaSプロダクトのレビューサイト「Boxil SaaS」のレビュースコアについて、プロダクトカテゴリ別の評価傾向や評価の高いプロダクトなどを調査しました。

今回は続編として、以下のようなデータ分析を行い、レビュースコア活用の可能性を探ってみました。

• 総合レビュースコアに寄与する度合いの高い評価因子

• レビューとSaaSメトリクスとの相関分析

• （おまけ）パーソナライズしたSaaSレコメンド

レビューに関するデータは、前回と同様にBoxil SaaSのデータ、SaaSメトリクスについてはnoteで無料ダウンロードできるデータを使用しました。

総合レビュースコアと相関の高い要素は？

上図に総合レビュースコアと各要素別スコアとの相関係数R（Rは-1〜+1の範囲の値をとり、+1に近いほど正の相関が強く、-1に近いほど負の相関が強い）を算出しました。一般的に相関係数が+0.5以上もしくは-0.5以下だと、高い相関関係があると言われています。

その基準で見ると、総合レビュースコアとの相関が高い要素として、機能満足度（R ＝ 0.63）、使いやすさ（R ＝ 0.58）、役立ち度（R ＝ 0.58）、サービス安定性（R ＝ 0.51）が挙げられます。

上図に総合レビュースコアと相関の高い要素スコア上位3つと総合レビュースコアをプロットしました。図中の点1つずつが各SaaSプロダクトを示しています。やや密集しているようにも見えますが、概ね右肩上がりの相関関係（要素スコアが上がると総合レビュースコアも上がっている）になっていると言えるでしょう。

総合レビュースコアに与える影響度は「役立ち度」がもっとも高い

各要素スコアが総合レビュースコアにどれほど影響するのか、重回帰分析を行いました。上図に目的変数である総合レビュースコアを説明変数である各要素スコアで表現した重回帰式を記載しています。

重回帰式より、ボクシルSaaSにおけるプロダクトの役立ち度スコアが+1点上がると、他の要素スコアは一定であるという前提のもと、総合レビュースコアは0.27点上がることが分かります。また、総合レビュースコアに与える影響度は、「役立ち度」がもっとも高く、「使いやすさ」、「機能満足度」、「カスタマイズ性」と続きます。SaaSプロダクトが社内で役立っている感覚や使いやすさという点が、全体的な満足度に繋がりやすいと解釈できます。

また、総合レビュースコアに対する「役立ち度」の影響度は「機能満足度」と「カスタマイズ性」の約2倍になっていることから、単にプロダクトの機能が充実していたり、カスタマイズしやすかったりする以外の部分、例えば、ユーザーペインの強い部分に対するソリューションになっているか、SaaS導入による改善効果が見えやすいものなのか、などの重要性が高いことを示唆しています。

逆に、「料金の妥当性（導入決裁者、導入推進者、システム管理者がスコアを付けられる項目）」が総合レビュースコアに与える影響は小さく、ユーザーにとって本当に役立つSaaSプロダクトであれば、料金体系に対する許容度は比較的高いと考えられます。

ARRは総合レビュー件数と相関が高い

上図に総合レビュー件数・スコアと関連性の高そうなSaaSメトリクス（ARR、有料顧客数、Churn Rate）との相関係数Rを表示しています。
この相関分析では、チャットワークとクラウドサインは対象から除きました。理由としては、チャットワークのようなチャットツールは多くの従業員が利用し、利用時間も長いため、レビュー件数も顕著に集まりやすく外れ値になりやすいです。また、クラウドサインは利用ユーザー数の範囲が広いだけでなく、カンブリア宮殿などのテレビ番組で特集されていたり、テレビCM放送などで認知度が急上昇している可能性があります。そのため、レビュー件数の増加数の方が先行して伸びていて、外れ値になりやすいと考えました。

総合レビュー件数・スコアとSaaSメトリクス間との相関係数Rについて、総合レビュー件数とARRの相関係数が0.83と非常に高い正の相関関係がありました。総合レビュー件数が多いということは、それほど利用企業数・ユーザー数も多く、ARRも高いと考えられます。

一方、有料顧客数との相関はそれほど高くなかったり、総合レビュースコアとChurn rateとの間には正の相関関係がありますが（評価が良いほどChurn rateが高い傾向がある）、評価が良いほどChurn rateが低い傾向にあるはずという一般的な感覚と一致しないものもありました。原因としては、メトリクスの定義が企業間で異なっており、正しく評価できていない可能性もあります。それらを切り分けて分析することで、分析結果が一般的な感覚に近づく可能性もありますが、今回は割愛します。

総合レビュー件数によるSaaSのARR推定

横軸に総合レビュー件数、縦軸にARRをプロットすると、上図のような単回帰式が描けます。グラフからもレビュー件数が多いほどARRが大きい傾向になっていることが分かります。
少し荒い見方ですが、’22年2月時点でのレビュー件数80〜100件あたりがARR100億円を超える/超えないのボーダーラインの目安であると言えそうです。ただし、前述の通り、従業員全体の利用頻度や時間が多いSaaSプロダクトにはレビュー件数が多く集まりやすい傾向があるため、その辺は差し引いて考える必要があるでしょう。

実際にレビュー件数が80件を超える主な企業やSaaSの売上・ARRを見てみましょう。以下の企業については、売上・ARRが100億円近い、または超えており、およそ推定できてそうです。

• セールスフォース・ジャパン：FY21売上 1279億円

• DONUTS（ジョブカン、CLIUS）：FY21売上 134億円

• box：FY22売上 180億円（日本国内）

• LINE（LINE WORKS）：FY21Q2 ARR 79億円

ただし、セールスフォース・ジャパン（レビュー件数：255件）については、上のグラフと傾向自体は大きく外れており、レビュー件数が一定の閾値を超えると、件数とARRは単純な線形の関係性にはならないことが示唆されます。
また、BASEについて、22年2月時点でSaaSとは言いにくいと思いますが（22年4月からサブスクプランをリリース）、レビュー件数は107件で、FY21 BASE事業の売上は約84億円であるため、上のグラフのような傾向が出ています。

一方、以下の企業やSaaSは、従業員や一般ユーザーの利用頻度が高い可能性があり、傾向が異なりそうです。

• ヒューマンテクノロジーズ（KING OF TIME）：FY21売上 30億円

• GMOペパボ（LOLIPOP）：FY20 売上 18億円

• ヌーラボ（Backlog）：FY20売上 12億円前後（FY17の売上とBacklog有料契約数の成長率から推定）

以上、ボクシルSaaSの総合レビュー件数だけで、ARRを精度良く推定するのは簡単ではありませんが、一般ユーザーに対する認知度がそこまで高くはないけど、レビュー件数が80〜100件を超えているSaaSが今後出てきた時は、実はARRがかなり積み上がっている可能性もあるため、定期的にチェックする価値はありそうです。

レビュースコアを活用したパーソナライズしたSaaSレコメンド

最後に、SaaSプロダクトの動向や傾向分析からは話が逸れますが、ユーザーのレビューに応じて、他カテゴリのSaaSをレコメンドするモデル作りを試みました。’22年2月時点では、ボクシルSaaSのサイトでプロダクトの詳細ページを表示すると、同カテゴリの他プロダクトの資料も一括で資料請求できるような画面設計になっています。ユーザーが興味あるSaaSカテゴリについて、比較検討できるような設計にしているのだと思われます。

一方、同カテゴリ内のSaaSを比較検討するだけでなく、自社の志向や状況にマッチした他カテゴリのSaaSもトータルでレコメンドしてもらいたいというニーズもあるかもしれません。そこで、似たような評価をされるものを探す協調フィルタリングというアルゴリズムとボクシルSaaSのレビューデータを使い、架空のユーザーのSaaS評価をもとに、他カテゴリの中で高い評価をするであろうSaaSをレコメンドするモデルを作って検証しました。モデルベース協調フィルタリングの手法の一つであるFactorization Machinesを使いました。

1つ目のケースは上図の通り、IT系業種で会計ソフトはfreeeを好んで利用しており、freee会計に対するレビュースコアが5点を付けているユーザーです。

他カテゴリでレコメンドされるSaaSとしては、給与計算、勤怠管理、人事情報システムにおいては「freee人事労務」、経費精算では「freee経費精算」、電子契約では「NINJA SIGN by freee」が比較的高いスコアで入っていました。freee会計を好むユーザーは、freeeのプロダクトで業務プロセスを構築することが好まれやすいであろうというのは一般的な感覚とも合っているのではないでしょうか。

2つ目のケースは、業種はケース1と同じくIT系ですが、会計ソフトはfreeeよりもマネーフォワード派で、MFクラウド会計が5点、freee会計が1点を付けているユーザーです。

1つ目のケースとはレコメンドされるSaaSも変わっており、給与計算は「マネーフォワードクラウド給与」、経費精算は「マネーフォワードクラウド経費」などマネーフォワードが多くなっています。他カテゴリについては、勤怠管理はケース1に入ってきていた「freee人事労務」はなくなり、「スマレジ・タイムカード」のみになっています。これはfreee会計の評価が低いユーザーに対して、freeeの他プロダクトをレコメンドするのは避けた方が良いことを示唆しています。

今回は比較しやすいようにfreee会計派とマネーフォワードクラウド会計派の2つのケースで検証しましたが、このようなレコメンドモデルを活用することで、ユーザーや企業個々の志向や状況にマッチしたSaaSをトータルで提案でき、よりSaaS導入を促進できるかもしれません。

また、ユーザーのレビュー評価から、そのユーザーが好評価しやすいSaaSを予測できるということは、SaaS提供企業から見れば、どのようなSaaSを好んでいるユーザーが自社の顧客になりやすいのか推定できるとも考えられます。そのような切り口から自社SaaSのペルソナを作ることも可能ではないでしょうか。

最後に

最後まで読んでいただき、ありがとうございます。
前回の寄稿からの続編ということで、
・総合レビュースコアに寄与する度合いの高い評価因子
・レビューとSaaSメトリクスとの相関
・パーソナライズしたSaaSレコメンド
を分析・検証してみました。

プロダクトマネジメントの議論が活発になっていますが、さまざまなSaaSプロダクトに関するデータや分析については、まだ少し情報が少ないように思いましたので、Boxil SaaSにおけるプロダクト評価データの分析をテーマに取り上げてみました。
少しでもSaaS業界やプロダクトマネジメント界隈の話の種になれば幸いです。

ビジネス分析って面白いですね！

『SaaSの科学 -SaaSビジネスにおけるデータ分析-』という電子書籍（Kindle）を出版しましたので、読んで頂けると嬉しいです📚

企業やマーケット関連の話など、ツイッターでもつぶやいてますので、フォローして頂けると泣いて喜びます。

音声メディアにも出演しているので、お気軽にお誘いください。

One Capital様が運営するメディアにも寄稿させて頂いたりもしたので、よろしければ合わせてご覧ください。