Hologres

【Hologres連載】Kubernetes(k8s)上にApache Flinkを配置し、Hologresへリアルタイムデータ連携する方法

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Hologres を使って、AWSのKubernetesサービスであるECSからApache Flinkによるマルチクラウドーリアルタイムデータ連携する方法をご紹介します。 Hologresとは Apache Flin…

【Hologres連載】Azureのk8s(AKS)にApache Sparkを配置し、Hologresへリアルタイムデータ連携する方法(30分で出来るAzureとAlibaba Cloudのマルチクラウド構成)

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Hologres を使って、AzureのKubernetesサービスであるAKSからApache Sparkによるマルチクラウドーリアルタイムデータ連携する方法をご紹介します。 Hologresとは Apache Sp…

【Hologres連載】AWS S3からHologresへリアルタイムデータ連携方法(Embulk使用)

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Hologres に対し、AWS S3からHologresへリアルタイムデータ連携する方法をご紹介します。 Hologresとは AWS S3とは AWS S3からAlibaba Cloud Hologresへデータ連携について…

【Hologres連載】Apache SparkからHologresへデータ連携方法

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Hologres に対し、Apache SparkからHologresへリアルタイムデータ連携する方法をご紹介します。 Hologresとは Apache Sparkとは Apache SparkからHologresへデータ連携につ…

【Hologres連載】Hologresを使ったバッチ処理ソリューション開発方法(Hologres-FC-APIGateway構築含む)

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Hologres で、FunctionComputeとAPI Gatewayによるバッチ処理サービス基盤を開発する方法をご紹介します。 Hologresとは Hologresを使ったバッチ処理ソリューション開発方…

【Hologres連載】FluentdでHologresへデータ転送する

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Hologres で、Fluentdを使って、Hologresへデータを転送する方法をご紹介します。 Hologresとは Fluentdとは FluentdでHologresへデータ転送について このチュートリアルに…

【Hologres連載】LogServiceとHologres間のリアルタイムETLをする方法

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Hologres で、Log ServiceとHologres間のリアルタイムETLをする方法をご紹介します。 Hologresとは Log ServiceとHologres間のリアルタイムETLについて このチュートリアル…

【Hologres連載】FunctionComputeでHologresのジョブスケジューラを設定する方法

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Hologres で、FunctionComputeによるジョブスケジューラを設定する方法をご紹介します。 Hologresとは Hologresのジョブスケジューラについて 前提条件 FunctionCompute に…

【Hologres連載】HologresでFact Table(単独テーブル)およびPartition Table作成について

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Hologres をご紹介します。 Hologresとは 共通作業1(Hologres全体で共通事項) 共通作業2(DataWorksの設定) ECSからのFact table(単独テーブル)作成について STEP1: …

【Hologres連載】リアルタイムDWH・Hologresのご紹介

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Hologres が今年6月にHologres 日本リージョンリリースしたので、この機会も兼ねて、Hologresを紹介しょうと思います。 Hologresとは 現在のDWH(データウェアハウス)の課…