FlyData Autoload:
事例集
Move your data on the fly!
モバイルゲーム
ソーシャルゲームのリアルタイム分析
• 問題の背景
– 複数のタイトルを持つ日本の代表的なソーシャルゲーム提供企業であるEnish
– 以前はオンプレミスの MySQL クラスタに大量ログデータを持っていたMySQL クラス
タはあまりの大量データのため、しばしばダウンし、その復旧には月に何人日ものコス
トがかかっていた
– 何年にも渡るデータでの過去データ全分析などはそもそも不可能だった
• FlyData による解決策
– 複数タイトルに渡るログをJSONフォーマットで統一しFlyData Enterpriseを導入
– ユーザアクションログをJSONフォーマットに出力
– データは自動的にAmazon Redshiftに送信
• 結果
– エンジニアは時間を節約し、その分リアルタイム分析によりアプリ開発の改善を行うこ
とができるようになった
– 月に何人日ものメンテナンスコストを削減し、分析による改善で売上、利益が向上した
アドテクノロジー
先進的なネット広告スタートアップの
ビッグデータ基盤
• 問題の背景
– アメリカの新しいディスプレイ広告を提供する
– ユーザが広告を見た長さなどを測定することで広告効果を測定するDENNOO
– 大規模なデータを保存し、それは広告レポートの作成に使われるデータをリアルタイムに処理する必要があった
– 最初Hadoopを利用していたが、開発・運用コストが見合わなかった。また、Hadoopの習得コストは高く、クエリ作成
とHadoopクラスタのメンテナンス両方に問題があった
• FlyData による解決策
– FlyData Enterpriseによる 「拡張」 Apache ログフォーマットを利用
– 一般的な Combined Apache ログフォーマット に Apache拡張モジュールにより追加情報を加え、全てのリクエスト
情報を出力。拡張部分はキーバリューペアになっていて、さらにURLのパラメータ部分もそれぞれ変数として利用可
能
– データは自動的に Amazon Redshift に送られ、適切なテーブル・カラムにマッピングされる。もしカラムが存在しな
い場合は、自動的に追加される。これにより、テーブルデザインの柔軟さを得ることができた
– 広告パフォーマンスレポートによって、その会社の顧客はリアルタイムに広告結果を見ることができるようになった
– 顧客内部の分析チームはリアルタイムに広告パフォーマンスなどを見ることができるため、広告の質を改善すること
ができた
• 結果
– スケール可能なレポートバックエンドを得て、複数のキャンペーンのテラバイト級データから顧客に適切なレポートを
提供することが可能になった
– Hadoop基盤よりもコストを削減し、FlyData とRedshiftを利用して広告のパフォーマンスを上げることで売上・利益
が向上した
オンラインメディア
高速フィードバックによる開発サイクルの
アジャイルな改善
• 問題の背景
– 1300万を超える 「いいね」 されたFacebookページをもつアメリカのメディアスタートアップである
Tokyo Otaku Mode。
– ユーザの行動ログを分析することでウェブサイトやユーザの動線などを解析していた
– 顧客のコンバージョンレートに対するファネル分析を行っていた
– 行動ログデータはJSON形式で、MongoDBに保存されていた
– 集計クエリの性質上、MongoDBでは十分なパフォーマンスを得ることができなくなっていた
• FlyData による解決策
– 複雑な(入れ子の)JSON形式のログを FlyData Enterpriseを利用して送信
– 全ての行動ログをJSONファイルに書き出す
– FlyData は自動的にRedshiftに送信し、分析チーム(=開発チーム)は行動ログの分析を短時間に
行うことができるようになった
– 顧客データのファネル分析の時間も短縮
• 結果
– JSON利用の柔軟性はそのまま、分析クエリのスピードが圧倒的に速くなり、以前は20分以上か
かっていた処理が1分以内になった
– 将来に渡るスケーラビリティも確保できた
– リーンスタートアップの開発サイクル (構築ー測定ー学習サイクル) を高速に回せるようになった
お問い合わせ
• sales-jp@flydata.com
• http://flydata.com
FlyData は Amazon Redshiftの
公式データインテグレーションパートナーです

FlyData Autoload: 事例集

  • 1.
  • 2.
  • 3.
    ソーシャルゲームのリアルタイム分析 • 問題の背景 – 複数のタイトルを持つ日本の代表的なソーシャルゲーム提供企業であるEnish –以前はオンプレミスの MySQL クラスタに大量ログデータを持っていたMySQL クラス タはあまりの大量データのため、しばしばダウンし、その復旧には月に何人日ものコス トがかかっていた – 何年にも渡るデータでの過去データ全分析などはそもそも不可能だった • FlyData による解決策 – 複数タイトルに渡るログをJSONフォーマットで統一しFlyData Enterpriseを導入 – ユーザアクションログをJSONフォーマットに出力 – データは自動的にAmazon Redshiftに送信 • 結果 – エンジニアは時間を節約し、その分リアルタイム分析によりアプリ開発の改善を行うこ とができるようになった – 月に何人日ものメンテナンスコストを削減し、分析による改善で売上、利益が向上した
  • 4.
  • 5.
    先進的なネット広告スタートアップの ビッグデータ基盤 • 問題の背景 – アメリカの新しいディスプレイ広告を提供する –ユーザが広告を見た長さなどを測定することで広告効果を測定するDENNOO – 大規模なデータを保存し、それは広告レポートの作成に使われるデータをリアルタイムに処理する必要があった – 最初Hadoopを利用していたが、開発・運用コストが見合わなかった。また、Hadoopの習得コストは高く、クエリ作成 とHadoopクラスタのメンテナンス両方に問題があった • FlyData による解決策 – FlyData Enterpriseによる 「拡張」 Apache ログフォーマットを利用 – 一般的な Combined Apache ログフォーマット に Apache拡張モジュールにより追加情報を加え、全てのリクエスト 情報を出力。拡張部分はキーバリューペアになっていて、さらにURLのパラメータ部分もそれぞれ変数として利用可 能 – データは自動的に Amazon Redshift に送られ、適切なテーブル・カラムにマッピングされる。もしカラムが存在しな い場合は、自動的に追加される。これにより、テーブルデザインの柔軟さを得ることができた – 広告パフォーマンスレポートによって、その会社の顧客はリアルタイムに広告結果を見ることができるようになった – 顧客内部の分析チームはリアルタイムに広告パフォーマンスなどを見ることができるため、広告の質を改善すること ができた • 結果 – スケール可能なレポートバックエンドを得て、複数のキャンペーンのテラバイト級データから顧客に適切なレポートを 提供することが可能になった – Hadoop基盤よりもコストを削減し、FlyData とRedshiftを利用して広告のパフォーマンスを上げることで売上・利益 が向上した
  • 6.
  • 7.
    高速フィードバックによる開発サイクルの アジャイルな改善 • 問題の背景 – 1300万を超える「いいね」 されたFacebookページをもつアメリカのメディアスタートアップである Tokyo Otaku Mode。 – ユーザの行動ログを分析することでウェブサイトやユーザの動線などを解析していた – 顧客のコンバージョンレートに対するファネル分析を行っていた – 行動ログデータはJSON形式で、MongoDBに保存されていた – 集計クエリの性質上、MongoDBでは十分なパフォーマンスを得ることができなくなっていた • FlyData による解決策 – 複雑な(入れ子の)JSON形式のログを FlyData Enterpriseを利用して送信 – 全ての行動ログをJSONファイルに書き出す – FlyData は自動的にRedshiftに送信し、分析チーム(=開発チーム)は行動ログの分析を短時間に 行うことができるようになった – 顧客データのファネル分析の時間も短縮 • 結果 – JSON利用の柔軟性はそのまま、分析クエリのスピードが圧倒的に速くなり、以前は20分以上か かっていた処理が1分以内になった – 将来に渡るスケーラビリティも確保できた – リーンスタートアップの開発サイクル (構築ー測定ー学習サイクル) を高速に回せるようになった
  • 8.
    お問い合わせ • sales-jp@flydata.com • http://flydata.com FlyDataは Amazon Redshiftの 公式データインテグレーションパートナーです