時代はクラウドということで、クラウド関連の案件が増えて来ましたので、
Amazon Web Servicesに関する知識を深めようと思います。
Kinesis Data Firehose は、アプリケーションや各種 AWS サービスから継続的に送られてくるデータを、ほぼリアルタイムで保存先へ届けるためのマネージドサービスです。ログやイベントデータ、センサーデータのように「止まらずに流れ続けるデータ」を、安全かつ安定して蓄積する用途を主な目的としています。
このサービスの大きな特徴は、利用者がサーバやインフラの管理をほとんど意識しなくてよい点にあります。スケーリングや負荷分散、障害対応といった運用は AWS 側で自動的に処理されるため、利用者は「どこからデータを受け取り、どこへ届けるか」を設定するだけで済みます。そのため、ログ基盤やデータ収集基盤を短時間で構築したい場合に特に有効です。
Firehose に送られたデータは、すぐに保存先へ書き込まれるのではなく、一定時間または一定サイズごとにまとめられてから配信されます。これにより、小さなファイルが大量に生成されることを防ぎ、S3 や Redshift など後続の分析基盤で扱いやすい形になります。このバッファリングの仕組みのため、遅延は数十秒から数分程度発生しますが、多くのログ分析やデータ分析用途では十分なリアルタイム性といえます。
入会申込
ログイン
