時代はクラウドということで、クラウド関連の案件が増えて来ましたので、
Amazon Web Servicesに関する知識を深めようと思います。
続きで、Kinesis Data Firehoseは、データを配信する前に内容を加工したい場合は、AWS Lambda を使って変換処理を挟むことができます。例えば、アプリケーションログの JSON 形式を分析向けに整形したり、不要なフィールドを削除したり、Parquet 形式に変換して保存するといったことが可能です。この変換処理も Firehose の流れの中で自動的に実行されるため、別途バッチ処理を用意する必要はありません。
配信先としては、Amazon S3 を中心に、Redshift、OpenSearch Service、Splunk、あるいは HTTP エンドポイントなどが利用できます。特に S3 を保存先にした場合は、その後 Athena や Glue、Redshift Spectrum と組み合わせることで、データレイクの入口として機能させることができます。万が一、変換や配信に失敗したデータがあっても、別の S3 バケットに自動的に退避される仕組みがあるため、データを失わずに後から調査や再処理を行えます。
Kinesis Data Streams と比較すると、Firehose はデータを「処理する」よりも「確実に届けて保存する」ことに重点を置いたサービスです。ミリ秒単位の低遅延処理や複数コンシューマによる高度なストリーム制御が必要な場合には Data Streams の方が適していますが、ログ収集や分析基盤へのデータ投入といった用途では Firehose の方がシンプルで運用コストも低くなります。
入会申込
ログイン
