MaxCompute連載12:LogServiceからMaxComputeへ連携する方法

Hi, データエンジニアの大原です。
Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の12回目です。

今回はLogServiceからMaxComputeへ連携する方法について説明します。

前回の記事はこちらをご覧ください。 www.sbcloud.co.jp

f:id:sbc_ohara:20210104091159p:plain

前書き

MaxComputeの概要をこのblogにて記載しました。

MaxCompute (旧プロダクト名 ODPS) は、大規模データウェアハウジングのためのフルマネージドかつマルチテナント形式のデータ処理プラットフォームです。さまざまなデータインポートソリューションと分散計算モデルにより、大規模データの効率的な照会、運用コストの削減、データセキュリティを実現します。

f:id:sbc_ohara:20210104133726p:plain

少し前になりますが、MaxComputeについての資料をSlideShareへアップロードしていますので、こちらも参考になればと思います。

www.slideshare.net

今回はAlibaba Cloud LogServiceからMaxComputeへデータを連携します(データベース移行)。構成図で、こんな感じです。

f:id:sbc_ohara:20210312004454p:plain



共通作業(MaxCompute全体で共通事項)

RAM ユーザー作成&権限付与

もしMaxComputeを操作するユーザがRAMユーザーの場合は以下を実施してください。

RAMより対象のユーザーを選定します。ユーザーが無い場合は新規作成します。 このときにAccessKey IDとAccessKey Secretをメモとして残してください。AccessKey IDとAccessKey SecretはDataWorks DataIntegrationの処理に必要となります。

f:id:sbc_ohara:20210305025953p:plain

対象のユーザーには権限ロールとしてAliyunDataWorksFullAccessをアタッチします。 これはDataWorksを操作するためのFull権限です。
DataWorks側にてユーザーごとに読み取り専用や一部プロジェクト・テーブルなどのきめ細かい権限付与ができますが、ここでは割愛します。

f:id:sbc_ohara:20210305025809p:plain

今回は、LogServiceからMaxComputeへ連携する方法なので、AliyunOSSFullAccess および AliyunLogFullAccess もアタッチします。

Workspace作成

MaxComputeを操作するためにはワークスペースおよびプロジェクトが必要なので新たに作成します。DataWorksコンソールから 「Create Project」を選択し、起動します。
Modeは「Basic Mode(基本モード)」「と「Standard Mode(標準モード)」の2種類があります。ここは「Basic Mode(基本モード)」として選定します。
基本モードと標準モードは過去記事にて説明しています。

f:id:sbc_ohara:20210304212211p:plain

続けて、MaxCompute を選定します。料金は初めて操作するなら Pay-As-You-Go(使った分だけ課金) が良いと思います。

f:id:sbc_ohara:20210304220348p:plain

MaxComputeに関する必要な情報を設定し、Workspaceを作成します。

f:id:sbc_ohara:20210304220459p:plain

同期タスクをサブミットする方法(基本モード(basic mode))

作業の途中で 同期タスクをサブミットする旨のアクションが発生しますが、こちらの手順を参考にいただければ幸いです。    

DataWorks DataStdioで、操作が終わったら [Commit to Production Environment] をクリックし開発環境から本番環境へ直接コミットします。

f:id:sbc_ohara:20210311222112p:plain

同期タスクをサブミットする方法(標準モード(standard mode))

DataWorks DataStdioの右側にあるProperitiesをクリックします。

f:id:sbc_ohara:20210311221338p:plain

プロパティRerunを設定して、[Use Root Node]ボタンをクリックします。

f:id:sbc_ohara:20210311221142p:plain

開発環境にサブミットします。

f:id:sbc_ohara:20210311221120p:plain

あとは開発環境から本番環境にデプロイします。
具体的な方法は【MaxCompute連載】DataWorksにおける基本モードと標準モード、開発環境と本番環境について をご参照ください。

www.sbcloud.co.jp

Maxcomputeのデータをクエリする方法

DataWorks DataStdioのAd-Hoc Query画面に入って、[ODPS SQL]のノードを作成します。

f:id:sbc_ohara:20210311222431p:plain

SQLクエリ文を作成したら、上書き保存してから、Run SQLボタンを押します。
その後、SQLクエリの実行コストらお金が出ますが、ここも考慮のうえ、Run、で実行します。
実行結果としてレコード数が無事表示されます。

f:id:sbc_ohara:20210311222939p:plain



(事前準備)LogServiceの準備

まずはOSSコンソールに入って、特定のbucketのもと、OSSのリアルタイムログクエリ機能をアクティブします。
これはOSSアクセスログを生成するものです。

www.alibabacloud.com

f:id:sbc_ohara:20210312005155p:plain

これでリアルタイムログクエリ機能が有効になりました。

f:id:sbc_ohara:20210312005209p:plain

次はLogServiceコンソールに入ります。OSSログのプロダクト名をメモします。

f:id:sbc_ohara:20210312005231p:plain

LogServiceにデータを生成する目的で、OSS Bucketにイメージファイルをアップロードします。

f:id:sbc_ohara:20210312005539p:plain

イメージファイルのURLをコピーします。

f:id:sbc_ohara:20210312005624p:plain

コピーしたURLをアクセスすることで、LogServiceにてOSSログをリアルタイムで生成してくれます。
これでデータ生成の準備は完了です。

f:id:sbc_ohara:20210312005729p:plain

今度はDataWorks側での作業に移ります。
LogServiceをDataWorks DataIntegrationデータソースに追加します。

f:id:sbc_ohara:20210312005918p:plain

データソースとしてLogServiceの各種情報を入力し、接続テストを実行します。
LogServiceのEndpoint は 日本リージョンならap-northeast-1.log.aliyuncs.com です。

www.alibabacloud.com

f:id:sbc_ohara:20210312010332p:plain

接続テストで問題なければ、Completeボタンをクリックすることで、LogServiceのデータソースが追加されます。
これでLogService側の設定は完了です。

f:id:sbc_ohara:20210312010357p:plain

この準備が終わり次第、データを移行してみます。データ移行にはGUIモードとスクリプトモードの2つのパターンがあります。まずはGUIモードで移行します。
スクリプトモードはtemplateな扱いができるため、後日この作業の自動化したい場合、活用できればと思います。

LogServiceをMaxComputeへ移行(GUIモード)

STEP1: workflow作成

DataWorks DataIntegrationから、新規オフライン同期タスクをクリックし、DataStdio画面へ遷移します。
DataStdio画面にて、「Create Node」らダイアログが表示されますが、ここではクローズします。

f:id:sbc_ohara:20210311231235p:plain

DataStdio画面にてWorkflowを作成します。

f:id:sbc_ohara:20210312010645p:plain

STEP2: DI 同期タスクを作成

同期タスクを作成します。
f:id:sbc_ohara:20210312010711p:plain

ソースをLogHubに選択して、Logstoreを選択します。

f:id:sbc_ohara:20210312010758p:plain

URLをアクセスした時間を含む時間帯を入力して、Previewボタンをクリックします。

f:id:sbc_ohara:20210312010842p:plain

ターゲットをODPSに選択します。
f:id:sbc_ohara:20210312010902p:plain

Maxcomputeテーブルを選択します。
f:id:sbc_ohara:20210312010920p:plain

すると、自動でマッピングが表示されます。
f:id:sbc_ohara:20210312010956p:plain

STEP3: DI 同期タスクを実行

変数を時間帯に入力して、タスクを実行します。
実行時は、引数(Arguments)として、URLをアクセスした時間を含む時間帯を入力します。
f:id:sbc_ohara:20210312011121p:plain

タスクが成功すると、Logが表示されます。
f:id:sbc_ohara:20210312011155p:plain

あとはAd-Hoc クエリで確認します(手順は上記の共通手順にて記載しています)

select * from nelly01_dev.log_to_odps where ds='20200907';

f:id:sbc_ohara:20210312011249p:plain

これにより、GUIモードでLogServiceのデータをMaxCompute Tableへ取り込んだことが確認できました。

MySQLをMaxComputeへ移行(スクリプトモード)

STEP1: workflow作成

DataWorks DataIntegrationから、新規オフライン同期タスクをクリックし、DataStdio画面へ遷移します。
DataStdio画面にて、「Create Node」らダイアログが表示されますが、ここではクローズします。

f:id:sbc_ohara:20210311231235p:plain

DataStdio画面にてWorkflowを作成します。

f:id:sbc_ohara:20210312010645p:plain

STEP2: DI 同期タスクを作成

同期タスクを作成します。
f:id:sbc_ohara:20210312010711p:plain

ソースをLogHubに選択して、Logstoreを選択します。

f:id:sbc_ohara:20210312010758p:plain

URLをアクセスした時間を含む時間帯を入力して、Previewボタンをクリックします。

f:id:sbc_ohara:20210312010842p:plain

ターゲットをODPSに選択します。
f:id:sbc_ohara:20210312010902p:plain

Maxcomputeテーブルを選択します。
f:id:sbc_ohara:20210312010920p:plain

すると、自動でマッピングが表示されます。
f:id:sbc_ohara:20210312010956p:plain

STEP3: スクリプトモードにスイッチ

Switch to Code Editorボタンをクリックし、スクリプトモードにスイッチします。
f:id:sbc_ohara:20210312011413p:plain

するとスクリプトが表示されます。これは先述、GUIモードで選択した設定が自動でスクリプトに反映されます。
f:id:sbc_ohara:20210312011443p:plain

STEP4: DI 同期タスクを実行

スクリプト(タスク)を実行します。
f:id:sbc_ohara:20210312011503p:plain

スクリプト(タスク)が成功すると、タスクとしてLogが表示されます。
f:id:sbc_ohara:20210312011521p:plain

あとはAd-Hoc クエリで確認します(手順は上記の共通手順にて記載しています)

select * from nelly01_dev.log_to_odps where ds='20200907';

f:id:sbc_ohara:20210312011249p:plain


最後に

本記事では、LogService からMaxComputeへ連携する方法を簡単に説明しました。
LogServiceからMaxComputeへリアルタイムDWHとして構築したい場合、参考にできれば幸いです。

最後までお読みいただきありがとうございました。

MaxCompute連載シリーズ

www.sbcloud.co.jp www.sbcloud.co.jp www.sbcloud.co.jp www.sbcloud.co.jp