CUEBiC TEC BLOG

キュービックTECチームの技術ネタを投稿しております。

デブサミ2023でデータウェアハウス構築時のアンチパターンを発表してきました

デブサミ2023 キュービック
デブサミ2023 キュービック

2023年2月10日にCTOの加藤とテックリードの尾﨑で「データウェアハウス構築時のアンチパターンを克服したサクセスストーリー」のセッションで登壇させていただきました。

2023年2月10日(金)11:50 : データウェアハウス構築時のアンチパターンを克服したサクセスストーリー

登壇資料 : データウェアハウス構築時のアンチパターンを克服したサクセスストーリー

speakerdeck.com

登壇させていただいた感想

今回は登壇内容だけでなく、資料の構成の作り込みも分析手法を取り入れるなど発表に至るまでのプロセスも非常に学びがありました。登壇当日は降雪となったため、現地まで無事に辿り着けるのか?というところからのスタートでした。詳細をお伝えできなかった部分があるので、改めてこちらで補足をさせていただければと思います。

全ての発表が終わった後で、懇親会にも参加させていただき登壇者の方や視聴者の方と交流させていただきました。今回はオンライン開催でしたが、次回はオフラインでの懇親会の可能性ありとのことで非常に楽しみです。

懇親会の参加模様

登壇中にお伝えしたかったこと

キュービックのデジタルメディア事業を支える事業基幹システムはこれまでWebアプリケーションのCUEBiC Analytics(略称:CBA)で担ってきました。この数年の事業成長によりCBAのETLアーキテクチャは複雑化し、開発速度の鈍化や運用負荷が高くビジネスの要求に耐えられなくなっていました。 そこで加藤と尾﨑がRDBから脱却を狙い次世代の事業バックヤードとして「Redshift+trocco®︎」を採用した新たなDWH(Komawo(コマウォ))の構築を計画しました。

CBAの後継アーキテクチャであるKomawo(コマウォ)の構築は多くの壁にぶち当たりながら複数回のアーキテクチャの改善を経ながら進みました。 これから初めてDWHを構築しようとしている方やDWHのリプレイスを検討している方やアーキテクチャーに課題を抱えている方々に向けて、 サービスの検討/導入/改善フェーズで意識すべきポイントと解決策をお伝えさせていただきました。 詳細はこちらを見ていただければと思います。

登壇資料サマリー

登壇中にお伝えしきれなかったこと

ask the speakerでもお答えさせていただきましたが、最初のスタートが本当に大変かと思います。 社内に有識者スペシャリストが居なくて不安になることも多いと思います。心が折れてしまいそうになることもあると思います。そのような中でここまでやってこられた秘策をご紹介します

  • 1.デブサミのようなイベントやSNSなどで先人たちの知恵を借りること
    • 実際に100近いイベントに参加させていただき、他社事例など参考にさせていただきました。
  • 2.off-jtで未習得分野の社外セミナーを受講すること
    • 和から株式会社さんの統計セミナーに参加させていただきました。
    • こちらで概念的に分析手法を理解し、新規プロダクトの分析などでPPDACサイクルを回しました
  • 3.概念的な理解をしたら書籍で体系的に学ぶこと
    • いきなり書籍は暗記からのスタートとなるため概念をoff-jtyoutubeの動画などで頭に入れた後で臨むと非常に理解が進みました。
  • 4.良きメンターを見つけること
    • primnumber様やAWS様をはじめ、ベストプラクティスや事例をもとにディスカッションや時には相談もさせていただける方に出会えたのは大きいと思います。
  • 5.社内にしっかりと得た情報を発信し、巻き込むこと
    • 今とこれからについてしっかりと自信の口から説明できる必要があります。
    • 得たい成果を明確にした上で、問題提起から理解に持っていくことがまずは大事かと思います。
  • 6.データ起点の課題解決を組織に根付かせること
    • まだ、キュービックもこれからではありますが、DWHはあくまでHOWを実現するためのツールなので、運用者に寄り添いつつデータ起点の課題解決ができるよう磨き込みが重要かと思います。

最後に

今回はデータウェアハウスの構築時のアンチパターンの解決方法を発表させていただきました。 今後はサイトの動向や売上といったモノの分析からカスタマーを分析し、最適なユーザー体験を提供できるような仕組みが求められます。

今後の課題

段階的な検証を踏まえて機械学習などを導入していく予定です。

今後のアーキテクチャ

そういうの興味あります!という方がいたらぜひお声かけください。 speakerdeck.com

登壇資料 : データウェアハウス構築時のアンチパターンを克服したサクセスストーリー

speakerdeck.com