ドキュメント
re:Invent 2017 の注目のセッション
Amazon Kinesis でストリーミングデータをリアルタイムで分析 (ABD301)
Amazon Kinesis を使用すると、ストリーミングデータをリアルタイムに収集、処理、分析することが簡単になるため、インサイトを適時に取得して新しい情報に迅速に対応できます。このセッションでは、データインジェストに Kinesis Streams、リアルタイムの処理に Kinesis Analytics、永続性のために Kinesis Firehose を使用した、エンドツーエンドのストリーミングデータソリューションを紹介します。ストリーミングデータを使用する SQL クエリの記述方法を詳しく確認し、Kinesis Analytics アプリケーションを最適化およびモニタリングするためのベストプラクティスについて説明します。最後に、システム全体のコストを算出する方法を説明します。
ワークショップ: Building Your First Big Data Application on AWS (ABD317)
AWS のビッグデータウェブサービスに関する知識を強化し、はじめてのビッグデータアプリケーションをクラウドでリリースしましょう。 取り込み、保存、処理、および可視化で構成されるデータバスとしてビッグデータ処理を簡素化する方法を説明します。AWS マネージドサービス (Amazon Athena、Amazon Kinesis、Amazon DynamoDB、Amazon S3 など) を使用してビッグデータアプリケーションを構築します。また、ビッグデータアプリケーションのアーキテクチャの設計パターンを確認し、アプリケーションを自分で再構築してカスタマイズできるように、自習用ラボへのアクセス権を付与します。このセッションを最大限活用するためには、自分のノート PC を持参し、AWS のサービスを理解している必要があります。
ワークショップ: 今すぐ始めよう。ストリーミングデータを使用して、ビジネスに関するリアルタイムの洞察を得る方法 (ABD321)
近年、コネクテッドデバイスの数とリアルタイムデータソースの数は、爆発的に増加しています。そのため、データが継続的に生成され、生成されるスピードも加速しています。ビジネスでは、このようなデータを使用するために数時間または数日待つことはできません。貴重なインサイトを取得するためには、このデータを即座に利用して新しい情報に迅速に対応する必要があります。このワークショップでは、ストリーミングデータソースを利用して、ほぼリアルタイムで分析、対応する方法を説明します。実際のストリーミングデータのシナリオに関する要件がいくつか提示され、Amazon Kinesis、AWS Lambda、Amazon SNS などのサービスを使用して、要件を満たすソリューションを作成するタスクを実行します。
How Amazon Flex Uses Real-time Analytics to Deliver Packages on Time (ABD217)
データから実行可能なインサイトを取得する時間を短縮することは、すべてのビジネスにとって重要であり、バッチデータ分析ツールを使用しているお客様は、ストリーミング分析のメリットを活用しようとしています。データウェアハウスやデータベースから、リアルタイムのソリューションにアーキテクチャを拡張するためのベストプラクティスをご確認ください。Amazon Kinesis を使用してリアルタイムデータのインサイトを取得し、Amazon Aurora、Amazon RDS、Amazon Redshift、Amazon S3 と統合させる方法をご確認ください。Amazon Flex チームが、Amazon 配信ドライバーで使われる Amazon Flex モバイルアプリケーションでストリーミング分析を使用して、毎月何百万ものパッケージを時間どおりに配信した方法を説明します。バッチ処理システムからリアルタイムシステムへの移行を可能にし、既存のバッチデータをストリーミングデータに移行するという課題を克服したアーキテクチャについて、およびリアルタイム分析を活用する方法について説明します。
Real-Time Streaming Applications on AWS: Use Cases and Patterns (ABD203)
市場で勝利し、差別化されたカスタマーエクスペリエンスを提供するには、企業はリアルタイムでライブデータを使用し、意思決定の迅速化を促進する必要があります。このセッションでは、一般的なストリーミングデータ処理のユースケースとアーキテクチャについて説明します。まず、ストリーミングデータと AWS のストリーミングデータ機能の概要について説明します。次に、幾つかのお客様の事例と、リアルタイムストリーミングアプリケーションを確認します。最後に、ストリーミングデータの主なユースケースにおける、一般的なアーキテクチャと設計パターンについて説明します。
Cox Automotive が Splunk Cloud と AWS でスケーリング (ABD208)
このセッションでは、Cox Automotive が Splunk Cloud を使用して AWS とハイブリッド環境に対するリアルタイムの可視化を実現することで、MTTI をほぼゼロにし、オークションインシデントを 90% 削減して、プロアクティブに機能停止を予測できるようになった方法を確認します。また、Splunk および Amazon Firehose を使用してリアルタイムデータの取り込み、変換、分析を行い、クラウドリソースから貴重なインサイトを取得するという、非常に期待されている機能を紹介します。それにより、Splunk Enterprise および Splunk Cloud を使用して、これまでにないほど迅速かつ容易に、分析主導のインフラストラクチャモニタリングにアクセスできるようになります。
録画版オンラインセミナー
Amazon Data Firehose を使用したリアルタイムログ分析 (2017 年 6 月)
ログ分析はビッグデータの一般的なユースケースです。ウェブサイト、モバイルデバイス、サーバー、センサーなどのログデータを分析して、デジタルマーケティング、アプリケーションモニタリング、不正検出、広告、ゲーム、IoT などのさまざまなアプリケーションに利用できます。ログ分析をリアルタイムに実行することで、情報処理の時間を数時間または数日から、数秒または数分にまで短縮して、データからすばやくインサイトを得ることができます。このセッションでは、Amazon Data Firehose を使用して、インフラストラクチャなしでログを取り込み、配信する方法を確認できます。また、Amazon Managed Service for Apache Flink を使用して、ログデータをリアルタイムで処理し、応答性に優れた分析を構築する方法を紹介します。最後に、Amazon Elasticsearch Service を使用してインタラクティブにログデータをクエリし、可視化する方法を説明します。
学習目標:
- エンドツーエンドのリアルタイムログ分析ソリューションを簡単に構築する方法を理解する。
- Amazon Kinesis を使用して、リアルタイムでデータを収集および処理する方法の概要を理解する。
- Amazon Elasticsearch Service を使用して、インタラクティブにログデータをクエリおよび可視化する方法を確認する。
Amazon Data Firehose を使用したデータレイクのストリーミング ETL (2017 年 5 月)
データレイクを使用することで、企業内の従業員は、高速で継続的に生成されるデータが多く含まれる、さまざまなデータソースからの大量の非構造化データと構造化データにアクセスし、分析できます。分析のためにデータを適時利用できるようにするためには、堅牢でコスト効率の高い方法で、データをデータレイクに取り込むことができるストリーミングソリューションが必要です。 Amazon Data Firehose は、ストリーミングデータの準備と AWS へのロードを容易にする完全マネージド型サービスです。このオンラインセミナーでは、Firehose の概要と、このサービスを使用してリアルタイムストリーミングデータを収集、変換、バッチ処理、圧縮、および Amazon S3 データレイクへロードする方法を詳しく説明します。
学習目標:
- ストリーミングデータを収集、準備し、データレイクにロードするための主な要件を理解する。
- Firehose を使用したデータ送信の概要を確認する。
- Firehose を使用してデータ変換を実行する方法を確認する。
TrueCar が Splunk Cloud で実用的な洞察を得る方法
データセンター全体をクラウドに移行するのは、簡単なことではありません。 TrueCar の技術プラットフォームのチームには、まさにその任務が課せられました。この任務を遂行するには、これまで以上にスケーラブルなモニタリングとトラブルシューティングのソリューションを使用して、インフラストラクチャとアプリケーションのパフォーマンス向上、セキュリティ体制の強化、製品の改善を実現することが必要でした。TrueCar は、AWS で運用される Splunk Cloud を採用するという結論に達し、それを 1 日でデプロイすることができました。 このオンラインセミナーでは、TrueCar がどのように AWS と Splunk の両方の機能を活用して、リアルタイムでデータからインサイトを取得できるようになったが説明されています。
このオンラインセミナーを視聴して、TrueCar が Amazon Data Firehose を使用して、AWS で運用される Splunk Cloud を活用している方法を確認することにより、以下の点を理解できます:
- データ保持期間を延長して過去のインサイトを取得する
- AWS 請求情報の可視性を向上させる
- セキュリティに関するインサイトを取得して、脅威検出を行う
ブログ記事
Amazon Data Firehose now supports dynamic partitioning to Amazon S3(Amazon Data Firehose が Amazon S3 への動的パーティショニングのサポートを開始)
Jeremy Ber および Michael Greenshtein 著、2021 年 9 月 2 日
CloudWatch Metric Streams – Send AWS Metrics to Partners and to Your Apps in Real Time (CloudWatch メトリクス ストリーム – AWS メトリクスをパートナーやアプリにリアルタイムで送信)
Jeff Barr 著、2021 年 3 月 31 日
Stream, transform, and analyze XML data in real time with Amazon Kinesis, AWS Lambda, and Amazon Redshift (Amazon Kinesis、AWS Lambda、および Amazon Redshift を使用して、XML データをリアルタイムでストリーミング、変換、および分析する)
Sakti Mishra 著、2020 年 8 月 18 日
Amazon Data Firehose Data Transformation with AWS Lambda(AWS LambdaによるAmazon Data Firehoseのデータ変換)
Bryan Liston 著、2027 年 2 月 13 日
Watch Stream CDC into an Amazon S3 data lake in Parquet format with AWS DMS (AWS DMS を使用して CDC を Parquet 形式で Amazon S3 データレイクにストリーミングする)
Viral Shah 著、2020 年 9 月 8 日
Amazon S3 オブジェクトの Amazon Data Firehose カスタムプレフィックス
Rajeev Chakrabarti 著、2019 年 4 月 22 日
Stream data to an HTTP endpoint with Amazon Data Firehose (Amazon Data Firehose を使用して HTTP エンドポイントにデータをストリーミングする)
Imtiaz Sayed および Masudur Rahaman Sayem 著、2020 年 6 月 29 日
Capturing Data Changes in Amazon Aurora Using AWS Lambda (AWS Lambda を使用して Amazon Aurora でデータ変更をキャプチャする)
Re Alvarez-Parmar 著、2017 年 9 月 5 日
How to Stream Data from Amazon DynamoDB to Amazon Aurora using AWS Lambda and Amazon Data Firehose(AWS LambdaとAmazon Data Firehoseを使用してAmazon DynamoDBからAmazon Auroraにデータをストリーミングする方法)
Aravind Kodandaramaiah 著、2017 年 5 月 4 日
Analyzing VPC Flow Logs using Amazon Athena, and Amazon QuickSight (Amazon Athena と Amazon QuickSight を使用して VPC フローログを分析する)
Ian Robinson、Chaitanya Shah、Ben Snively 著、2017 年 3 月 9 日
Amazon Data Firehose の使用を開始