このissueで取り組むこと

• 月間利用者数が日米合算で2000万人を超えるスマートニュースでは、毎日テラバイト級のデータが発生しています。
• また近年ユーザごとに最適な情報発見の提供に注力している中で、一人ひとりのアプリでの体験を正確かつリアルタイムに分析をする環境を構築をしていくことが求められています。
• この課題に取り組むことになった背景としては、これまで日次、週次単位でのユーザー分析を行っていました。しかし、それでは新しい機能や新しいコンテンツ、新しい広告などの体験を提供したときに、すぐに状況を把握することができず、ユーザー体験やビジネス上の課題発見と改善をスピーディーに取り組むことができません。そこで、その状況を改善するためにこのissueを掲げています。
• 実際に2年ほど前からリアルタイムデータ分析基盤の構築は進めていますが、今後さらなる強化をしていきたいと考えています。
• このissueは、インフラコストやメンテナンス性、安定性とのバランスをとりながら基盤のレイテンシーを劇的に低くするという、難易度とインパクトの両方がとても大きいものです。

これまでやってきたこと

• AWS Kinesis/Apache Kafka, Flink, Hiveのフレームワークをメインにデータ分析基盤を開発
• 機械学習、自然言語処理などもデータ分析基盤上でリアルタイムに計算、処理、分析などを実施
• データ分析基盤の開発と運用を担当するのは、これまでは東京チームのみでしたが、昨年は上海チームを立ち上げ
• 東京チームと上海チームが共同でアプリケーションの開発に取り組み、上海チームではApache Flinkを活用したリアルタイムデータ処理基盤の開発をメインに実施

このissueの魅力

• リアルタイムデータ分析基盤の開発：業界的にも注目をあつめているフレームワークであるApache Flinkを活用しリアルタイムデータ分析基盤開発に取り組むことができます。
• 難易度の高い開発案件：リアルタイムにデータを処理するシステムの開発は、障害対応などにも緊急性が求められることもあり、レイテンシーと安定性のバランスの最適解を見据えた開発が求められます。
• チームの魅力：大規模かつ低レイテンシーのデータ処理を行う技術に特化したチームで、その領域に強みを持つエンジニアが多数在籍しています。
• サービスの魅力：月間利用者数2000万人以上が使うサービスの改善に貢献できます。

このissueに取り組む人への期待

求める人材

• 技術への追求心が高く、熱意をお持ちの方
• 難しいもの、答えがないもの、経験がないものを自ら学習ができる方
• 難しい問題に対して、責任感をもって、取り組むことができる方

本issueへの社内メンバーからのオススメ