ABEMAでは、推薦・検索などのデータ利活用を目的とし、コンピュータビジョンや機械学習を用いたアルゴリズムの研究・開発に取り組んできました。現在私たちは、コンピュータビジョン、音声認識などマルモーダル技術を活用した映像コンテンツの制作・編集支援といった領域に注力しています。数もデータ量も膨大な動画データに対して、研究領域でも未成熟な動画解析の技術を適用することはチャレンジングなポイントです。

Member

ML Engineer : 機械学習モデルの学習、評価、プロダクト実装
Product Manager : 要件定義、利害関係者との調整、機能の提案
Software Engineer : 基盤システムの設計、開発、運用。DevOps の実現

使用している主な技術

Python, Tensorflow, PyTorch, FFmpeg, Protocol Buffers, OpenTelemetry, Prometheus, Grafana, Terraform, Github Actions, pantsbuild, AWS, serverless

解決したい課題/ ユースケース

動画データ（映像・音声）に対し、プロンプト可能な物体検出やOCR、LLMといった多様な技術を組み合わせ、どのタイミングでどんなシーンが映っているかを表すタイムラインメタデータを付与。
クラウド編集システム上で表示し、番組制作者・SNS担当者のハイライト動画などの映像制作や記事制作を支援する機能を開発しています。

動画データの分散並列処理

解決したい課題/ ユースケース

私たちの解析対象となる動画データは、大量のフレーム画像から構成されています。コンピュータビジョンアルゴリズムは、JPEG/PNG画像を使用するものが非常に多く、動画解析においても画像に変換後、時系列データとして扱うことがほとんどです。そこで我々は、動画データから変換した大量の画像を一定枚数またはショットごとに分割し、それらに対して並列処理する機能を基盤システムの中で開発しました。データサイエンティストが新しいアルゴリズムを追加する場合は、分割した画像に対してアルゴリズムを並列で適用するmapの処理とmap処理の結果を集計、結合するcollectの処理を実装します。この機能を基盤システムに追加したことにより、動画解析処理を高速で行うことができるだけではなく、データサイエンティストはアルゴリズム部分の実装、改善に集中することができます。

関連リンク

• https://www.cyberagent.co.jp/way/list/detail/id=29819
• コンピュータビジョンを活用した新しい未来のテレビの形
  https://developer.abema.io/2021/sessions/qLSPUiKbuw/