最新テクノロジーを駆使した数千ペタバイトを解析するデータ基盤を実現する

最新テクノロジーを駆使した数千ペタバイトを解析するデータ基盤を実現する

Company
プレイド
Tags
EngineerBackendData

このissueを掲げている背景

死にゆく大量のビッグデータをリアルタイムに活用しデータから価値を生み出す

  • ”ビッグデータ”時代で大量のデータを保持できる環境は整いつつあるが、保持したデータを実際にどう生かすかについてはあまり考えられていません。
  • 大量データが解析されたとしても、実際に解析結果が活用される場までの時間と距離は非常に大きいです。
  • プレイドでは、データベースなどの最新テクノロジーを駆使して、この時間と距離を縮めることにチャレンジしています。
  • データを貯める場と活用の場との、時間と距離を縮めることによりデータから大きな価値を生み出したいと思ってます。

これまでやってきたこと

  • 現状の基盤では、数十ペタバイトのデータを蓄積し、月間数百ペタバイトのデータを解析しています。
  • 現在、その裏側の基盤を新しく作り直しています。
  • BigQueryをヘビーユースしているので、サンフランシスコで開催されたGoogle Cloud NextのBigQuery関連のセッションで登壇しました。

  • 信頼性を高めるために、GCPに完全に依存せずマルチクラウドを採用しています

このissueの魅力

フレッシュで意味のあるペタバイト以上を解析する基盤を作るという、他ではなし得ないことに挑戦できる

  1. 現状の基盤では、数十ペタバイトのデータを蓄積し、月間数百ペタバイトのデータを解析しています。
  2. これだけのデータを安定的に蓄積、活用するのは他ではできない経験です。
  3. スキーマレスで柔軟性高い基盤の高速化、データ圧縮、並列アルゴリズムなどの改善を実システム上実データを踏まえて開発するという、他ではなし得ないチャレンジが可能です。

担ってほしい役割・責任

大量データを安定的に捌き活用する基盤のアーキテクチャー設計や実装

  1. 大量データをスケーラブルに安定的に捌くためのアーキテクチャー設計や実装
  2. 実サービスで活用するためのアイデアやアルゴリズムの創出

役割は決めない

  1. 課題を解くための手段を自由に選択可能にするため、個々人の役割は決めていません
  2. プロダクト全体を俯瞰し、課題だと思う部分は、主体的に取り組むことができます

本issueへの社内メンバーからのオススメ

革新的なデータ基盤づくりに最高の環境

image

Deep Value Group . Engineer 日鼻 旬

「この革新的なデータ基盤づくりに挑戦する上で、プレイドは最高の環境だと思います。しがらみに囚われずに本質的な課題解決に集中できる文化、作った基盤がプロダクトに反映されフィードバックを得られる早さ、今までペタバイトのデータサイズを扱ってきた仲間と深い議論ができる、などなど。ぜひ一緒に他ではなし得ないデータ基盤を作りましょう。」

🙋‍♀️ このissueのスカウトを欲しい人は↓からキャリア情報を登録するだけ

issue clubについて詳しくはこちら 👈