人気記事

Athena AWS Glue QuickSight

S3に保存したparquet形式のデータをQuickSightで可視化する

投稿日:

概要

前回、APIから取得したJSONデータをparquet形式に変換してS3に保存しました。

今回はS3に保存したデータをAmazon QuickSightで可視化するまでを行います。

AWS Glueを用いたデータカタログへのテーブル登録

前回までの操作により、S3にparquetファイルを格納しました。

AthenaからS3のparquetファイルにアクセスするためのテーブル定義をAWS Glueで行います。

まずクローラを作成します。名前はland-tradelist-crawlerとしました。

データストアの追加のインクルードパスにS3のファイル格納したフォルダを指定します。

AWS Glueを用いたデータカタログへのテーブル登録

サービスロール設定等を行いクローラを作成を完了すると一覧に作成したクローラが表示されます。

今回作成したland-tradelist-crawlerを選択し、クローラの実行をクリックします。

ステータスがStoppingかReadyになれば処理が完了です。

サイドメニューのテーブルの一覧にテーブルが作成されたことを確認します。

テーブルを開くとスキーマを確認することができます。

Athenaからのクエリ発行

テーブルをデータカタログに登録できたのでAthenaからのクエリ発行を行ってみます。

まず、Athenaからクエリを発行した結果を格納するバケットを作成します。

データカタログに「AWSDataCatalog」、データベースに「land-trade」を選択し、テーブルからテーブルをプレビューを選択するとクエリが自動的に作成されます。

実行すると下の方にクエリ実行結果が表示されます。

Athenaによるクエリ実行が動作することを確認できました。

Amazon QuickSightによる可視化

Amazon QuickSightのアカウント登録を終えたら、新しい分析⇨新しいデータセットと進むとデータセットを作成する画面が表示されるのでAthenaを選択します。

テーブル選択では先ほど作成したland-tradelistを選択します

データセット作成が完了したらデータの編集/プレビューをクリックします。

データタイプが全て文字列となっていますので、取引価格を示すtradepriceを整数タイプに変換します。

右上の「公開して視覚化」をクリックするとグラフを作成する画面に遷移します。

ビジュアルタイプに棒グラフを選択し、x軸にperiod、y軸にtradepriceとした時の結果が表示できました。

まとめ

S3に保存したファイルをデータカタログのテーブルに定義して可視化をしてみました。

ここまではとりあえずグラフにした段階でしたので、今後はQuickSight上の分析を試してみたいと思います。

-Athena, AWS, Glue, QuickSight

Copyright© ITエンジニアへの転身 , 2022 All Rights Reserved Powered by STINGER.