ユーザーテストを利用した施策の効果検証
WAU2500万前後を推移
ABEMAでは、毎日多くの施策が企画、実施されています。私たちは、プロダクト開発・番組編成・宣伝マーケティングなど様々な領域で、施策による効果とその性質を詳らかにし、意思決定の精度を向上することで成果を最大化させるチームです。効果検証・因果推論の技術を膨大なサービスログに適用し、施策の評価と次の意思決定の支援を、ABEMA内の様々なドメインに向けておこなっています。
Member
Data Scientist : 統計・機械学習手法を用い、課題の発見、施策設計、オンラインテスト設計および評価を行う。
使用している主な技術
Causal Inference, A/B testing, Regression Analysis, DID, DTE, LATE, Causal Impact, Recommendation, Collaborative Filtering, Reinforcement Learning, Clustering, Python, BigQuery, Tableau
施策の効果検証
解決したい課題/ ユースケース
ABEMA には、コンテンツの制作 / 調達、ユーザへの宣伝 / マーケティング、プロダクトの開発、マネタイズといった、サービスバリューチェーンを構成する様々なドメインがあります。成果を最大化するためには、これらの異なるドメインで実施した施策を正しく評価し、振り返ることが肝要です。
この課題に対して私たちは、効果検証や因果推論を専門とするデータサイエンティストのチームとして、A/B テストをはじめとした施策評価の仕組みを、各ドメインで活用する支援を行っています。
- ランキングページの設置
- ミニプレイヤー機能の導入
- オープニングスキップ機能の導入
- ランディング番宣のユーザターゲティング評価
- 協調フィルタリング推薦の精度向上
- 検索システムへのメタデータの追加
A/B テストは、分析のコストと精度が両立された手法である一方で、現実にはグループの割り振りに偏りが生じてしまったりなど、落とし穴もあります。必要に応じて DID(Difference-in-differences)などの因果推論手法によりデバイアスを行います。また感度の向上や分析から得られるインサイトを増やすために、DTE や LATE の推定を実施することもあります。
関連リンク
- Home 画面の広告はユーザ体験に悪影響があるのか
https://speakerdeck.com/cyberagentdevelopers/abemaniokeruxiao-guo-jian-zheng - リニア放送番組を提案するモジュールを追加する
https://speakerdeck.com/s1ok69oo/abemanoxiao-guo-jian-zheng-shi-li-xiao-guo-noyi-zhi-xing-wokao-eru
サービス紹介
-

ABEMA|施策分析
ユーザーテストを利用した施策の効果検証 WAU2500万前後を推移 ABEMAでは、毎日多くの施策が企画、実…
-

ABEMA|広告
機械学習ベースの推薦システム基盤と検索基盤意思決定を支援 月Impression : 10億以上BigQuer…
-

ABEMA|動画解析
ABEMAの年間入稿動画コンテンツ数 : 数万本ABEMAの年間入稿動画コンテンツ量 : 数ペタバイト1動画あ…