Engineers' Blog

Data Online Migration Serviceを使用して、AWS S3からAlibaba Cloud OSSにデータを転送する。

Hi, データエンジニアの大原です。 本記事では、マイグレーションシナリオの1つとして、Data Online Migration Serviceを使用して、AWS S3からAlibaba Cloud OSSにデータを転送する方法をご紹介します。 はじめに もともと、この記事を書こうと思ったきっか…

Container Service for Kubernetes (ACK)に付帯されてるKnativeによるサーバーレスK8Sをデプロイする

Hi, データエンジニアの大原です。 最近、GCPでコンテナをサーバレスで実行するサービス「Cloud Run」の新機能として、非同期処理などを可能にする「CPU allocation on Cloud Run」機能が登場しました。 cloud.google.com 私自身、Alibaba CloudだけでなくGo…

【Hologres連載】Kubernetes(k8s)上にApache Flinkを配置し、Hologresへリアルタイムデータ連携する方法

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Hologres を使って、AWSのKubernetesサービスであるECSからApache Flinkによるマルチクラウドーリアルタイムデータ連携する方法をご紹介します。 Hologresとは Apache Flin…

【Hologres連載】Azureのk8s(AKS)にApache Sparkを配置し、Hologresへリアルタイムデータ連携する方法(30分で出来るAzureとAlibaba Cloudのマルチクラウド構成)

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Hologres を使って、AzureのKubernetesサービスであるAKSからApache Sparkによるマルチクラウドーリアルタイムデータ連携する方法をご紹介します。 Hologresとは Apache Sp…

【Hologres連載】AWS S3からHologresへリアルタイムデータ連携方法(Embulk使用)

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Hologres に対し、AWS S3からHologresへリアルタイムデータ連携する方法をご紹介します。 Hologresとは AWS S3とは AWS S3からAlibaba Cloud Hologresへデータ連携について…

【Hologres連載】Apache SparkからHologresへデータ連携方法

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Hologres に対し、Apache SparkからHologresへリアルタイムデータ連携する方法をご紹介します。 Hologresとは Apache Sparkとは Apache SparkからHologresへデータ連携につ…

【Hologres連載】Hologresを使ったバッチ処理ソリューション開発方法(Hologres-FC-APIGateway構築含む)

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Hologres で、FunctionComputeとAPI Gatewayによるバッチ処理サービス基盤を開発する方法をご紹介します。 Hologresとは Hologresを使ったバッチ処理ソリューション開発方…

ACK Register Cluster で外部 k8s クラスタ連携

こんにちは、ソリューションアーキテクトの有馬です。 今回は Container Service for Kubernetes (ACK) の Register Cluster を使用して、外部の Kubernetes クラスタとの連携を試してみます。 ACK Register Cluster とは 検証環境 ACK Register Cluster 作…

【ClickHouse連載】Apache FlinkからClickHouseへデータをリアルタイム格納してみる

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している ClickHouse を使って、Apache FlinkからClickHouseへデータ連携する方法をご紹介します。 ClickHouseとは Apache Flinkとは 1.ClickHouseClientの準備 1-1.ClickHouseイン…

【ClickHouse連載】Apache SparkからClickHouseへデータをリアルタイム格納してみる

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している ClickHouse を使って、Apache SparkからClickHouseへデータ連携する方法をご紹介します。 ClickHouseとは Apache Sparkとは 1.ClickHouseClientの準備 1-1.ClickHouseイン…

【ClickHouse連載】nginxアクセスログをLogStash- ClickHouseへデータ連携してみる

Hi, データエンジニアの大原です。 今回はタイトル通り、nginxアクセスログをLogStash- ClickHouseへデータ連携する方法をご紹介します。 ClickHouseはAlibaba Cloudの国際サイトで提供している ClickHouse を使用します。 ClickHouseとは LogStashとは 1. C…

【ClickHouse連載】nginxアクセスログを Fluentd(td-agent) - ClickHouseへデータ連携してみる

Hi, データエンジニアの大原です。 今回はタイトル通り、nginxアクセスログをFluentd(td-agent)- ClickHouseへデータ連携する方法をご紹介します。 ClickHouseはAlibaba Cloudの国際サイトで提供している ClickHouse を使用します。 ClickHouseとは Fluentd…

CEN Transit RouterでQoS機能を使用してみた。

SBクラウドソリューションアーキテクト西野です。AlibabaCloudでCEN Transit Routerがリリースされましたので解説とTransit Routerの機能の一つであるQoS機能を試したのでご紹介させて頂きます。QoS機能は8/13現在国際サイトでは正式リリースされていないた…

【ClickHouse連載】Apache kafka(Message Queue for Apache Kafka)からClickHouseへデータをリアルタイム格納してみる

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している ClickHouse を使って、Apache kafka(Message Queue for Apache Kafka)からClickHouseへデータを連携、格納する方法をご紹介します。 ClickHouseとは Apache kafka(Messa…

【ClickHouse連載】ApsaraDB RDS for MySQLからApsaraDB RDS for ClickHouseへデータ連携してみる(MaterializeMySQLを使用)

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している ClickHouse に対し、ApsaraDB RDS for MySQLからデータ連携する方法をご紹介します。 ClickHouseとは ApsaraDB RDS for MySQL とは 1. ClickHouseClientの準備 1-1.ClickHo…

【Hologres連載】FluentdでHologresへデータ転送する

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Hologres で、Fluentdを使って、Hologresへデータを転送する方法をご紹介します。 Hologresとは Fluentdとは FluentdでHologresへデータ転送について このチュートリアルに…

【ClickHouse連載】GrafanaでClickHouseデータを可視化してみる

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している ClickHouse のデータをGrafanaで可視化する方法をご紹介します。 Grafanaは、Grafana Labs が公開しているログ・データ可視化のためのツールです。 ClickHouseとは Grafana…

【Hologres連載】LogServiceとHologres間のリアルタイムETLをする方法

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Hologres で、Log ServiceとHologres間のリアルタイムETLをする方法をご紹介します。 Hologresとは Log ServiceとHologres間のリアルタイムETLについて このチュートリアル…

CentOS8 / RHEL8と互換性もある「Alibaba Cloud Linux 3」のご紹介

こんにちは。 SBクラウド ソリューションアーキテクトの福田です。 Alibaba Cloudの基盤に最適化されたLinux OSの最新版である、 Alibaba Cloud Linux 3がリリースされましたので、簡単にご紹介したいと思います。 Alibaba Cloud Linuxとは Alibaba Cloud Li…

【ClickHouse連載】LogService - ApsaraDB for ClickHouse データ連携方法

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している ClickHouse で 早速使ってみたい方向けに、クイックスタートとして LogServiceとデータ連携する方法をご紹介します。 LogServiceは、AlibabaCloudが提供する低コストでリア…

ACK@Edge でエッジ連携

こんにちは、ソリューションアーキテクトの有馬です。 今回は Container Service for Kubernetes (ACK) で利用可能な ACK@Edge を使用して、クラウドやオンプレミス等へ設置されたコンピュートとの連携を試してみたいと思います。 ACK@Edge クラスタ作成 登…

週刊Alibaba Cloud情報局(Vol.10)

Alibaba Cloud(アリババクラウド)のさまざまなアップデート情報をお知らせする「週刊Alibaba Cloud情報局」、今回はBastion Host、AnalyticDB 、PolarDB、ApsaraDB RDSなどのアップデート情報をご紹介します。

【Hologres連載】FunctionComputeでHologresのジョブスケジューラを設定する方法

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Hologres で、FunctionComputeによるジョブスケジューラを設定する方法をご紹介します。 Hologresとは Hologresのジョブスケジューラについて 前提条件 FunctionCompute に…

【ClickHouse連載】ApsaraDB for ClickHouse - OSSデータ連携方法

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している ClickHouse で 早速使ってみたい方向けに、クイックスタートとして OSSとデータ連携する方法をご紹介します。 OSS(Object Storage Service)は、AlibabaCloudが提供する低コ…

【ClickHouse連載】ECSからApsaraDB for ClickHouseへのデータ連携方法

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している ClickHouse で 早速使ってみたい方向けに、クイックスタートとして ECSからデータ連携する方法をご紹介します。 1.ClickHouseとは 1.ClickHouseを準備する 1-1.ClickHouse…

【ClickHouse連載】ApsaraDB for ClickHouseへの接続方法

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している ClickHouse で早速使ってみたい方向けに、クイックスタートとして接続方法をご紹介します。 1.ClickHouseとは 2.DMSでClickHouseを接続する 3.ClickHouseコマンドラインツ…

【ClickHouse連載】ApsaraDB for ClickHouseとは

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している ClickHouse をご紹介します。 OLAPオープンソースの乱世時代 ClickHouseとは ClickHouseの凄さ ClickHouseの歴史 Alibaba Cloud として ApsaraDB for ClickHouse ApsaraDB …

週刊Alibaba Cloud情報局(Vol.9)

Alibaba Cloud(アリババクラウド)のさまざまなアップデート情報をお知らせする「週刊Alibaba Cloud情報局」、今回はCloud Firewall、CDN、IoTプラットフォームなどのアップデート情報をご紹介します。

【Hologres連載】HologresでFact Table(単独テーブル)およびPartition Table作成について

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Hologres をご紹介します。 Hologresとは 共通作業1(Hologres全体で共通事項) 共通作業2(DataWorksの設定) ECSからのFact table(単独テーブル)作成について STEP1: …

週刊Alibaba Cloud情報局(Vol.8)

Alibaba Cloud(アリババクラウド)のさまざまなアップデート情報をお知らせする「週刊Alibaba Cloud情報局」、今回はECSやDCDN、PolarDBなどのアップデート情報をご紹介します。

いまさらですがインスタンスメタデータ(Instance Metadata Service)のお話をするよ❗️

今回は ECS 利用時に使うことのできる Instance Metadata Service (インスタンスメタデータ)のお話を軽くしていきたいと思います。 Alibaba Cloud だけでなくAWS,Azure,GCP なども軽くご紹介します

【Hologres連載】リアルタイムDWH・Hologresのご紹介

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Hologres が今年6月にHologres 日本リージョンリリースしたので、この機会も兼ねて、Hologresを紹介しょうと思います。 Hologresとは 現在のDWH(データウェアハウス)の課…

週刊Alibaba Cloud情報局(Vol.7)

Alibaba Cloud(アリババクラウド)のさまざまなアップデート情報をお知らせする「週刊Alibaba Cloud情報局」、今回はApsaraDB RDS for PostgreSQL/MySQL、Cloud Enterprise Network(CEN)などのアップデート情報をご紹介します。

週刊Alibaba Cloud情報局(Vol.6)

Alibaba Cloud(アリババクラウド)のさまざまなアップデート情報をお知らせする「週刊Alibaba Cloud情報局」今回は「Data Transmission Service(DTS)」「Mobile Platform as a Service(mPaaS)」の情報を紹介します。

ApsaraDB RDS for SQLServerでデータをTDE暗号化し、確認してみる

営業の富山です(代理O) 例えば、データベースに、氏名や生年月日、住所などの個人情報、クレジットカード、口座番号などのデータが含まれている場合、これを公開せずに運用したい場合とかありますよね? その場合は第三者に知り渡れないようにデータベース…

週刊Alibaba Cloud情報局(Vol.5)

Alibaba Cloudのさまざまなアップデート情報をお知らせする「週刊Alibaba Cloud情報局」今回は「「Alibaba Cloud Summit 2021」で発表された内容を中心に紹介します。

週刊Alibaba Cloud情報局(Vol.4)

Alibaba Cloudのさまざまなアップデート情報をお知らせする「週刊Alibaba Cloud情報局」、今回は主にPolarDB for PostgreSQL、ApsaraDB RDS for MySQL、ApsaraDB for MariaDB TX、EventBridgeなどの情報を紹介します。

Alibaba CloudのWeb Application Firewall(WAF)を使ってみよう

Alibaba CloudのWeb Application Firewall(WAF)のサービス概要と購入方法、ドメインの設定方法について解説します。

週刊Alibaba Cloud情報局(Vol.3)

Alibaba Cloudのさまざまなアップデート情報をお知らせする「週刊Alibaba Cloud情報局」、今回は主に「ApsaraDB for RDS」「Hologress」「AIRec」「ApsaraVideo Live」などの情報を紹介します。

Alibaba Cloud活用で日中間のゼロトラストネットワークを実現

皆様こんにちは! プロダクト技術課の斎藤です 今回はAlibaba CloudとCloudflareとOktaを組み合わせて 中国のクライアントから日本のWebサーバへ ゼロトラストネットワークによるアクセスを行います。 構成図 各コンポーネントを簡単に紹介します Alibaba Cl…

週刊Alibaba Cloud情報局(Vol.2)

SBクラウドの阿部です。 Alibaba Cloudのさまざまなアップデート情報をお知らせする「週刊Alibaba Cloud情報局」、今回は主に5月17~23日までの主要プロダクトのアップデート情報をお知らせします。※一部、過去のリリースも含まれております。 ApsaraDB for …

「週刊Alibaba Cloud情報局」をはじめました(Vol.1)

SBクラウド広報の阿部です。 本日より、Alibaba Cloudのさまざまなアップデート情報を定期的にブログで発信していく連載企画「週刊Alibaba Cloud情報局」を開始します! 初回は5月10~16日までの主要プロダクトのアップデート情報をお知らせします。 ApsaraD…

Cloudflare Access と WARP でゼロトラストアクセスの端末制限が簡単に実現できるよ❗️

こんにちは。 ソリューションアーキテクトの松田です。 今回は ZTNA を実現するCloudflare Access (Cloudflare for Teams) に追加された、デバイスのシリアル番号に対する制御ルールを使用した端末制限方法を紹介させて頂きます。

ACK で OpenKruise をためしてみた

こんにちは、ソリューションアーキテクトの有馬です。 今回はオープンソースで提供されている OpenKruise を、Container Service for Kubernetes (ACK) へデプロイして動作をためしてみたいと思います。 Alibaba サービスでのコンテナ利用の背景 Alibaba で…

Cloudflare WARPで次世代VPNを体験しよう!

皆様こんにちは! プロダクト技術課の斎藤です SBクラウドはクラウドフレア・ジャパン株式会社と提携し、Cloudflareのソリューションを提供しております。 今回はCloudflare WARPというクライアントVPNソリューションをご紹介致します。 www.sbcloud.co.jp …

Cloudflare GatewayでWebフィルタリングをやってみた

皆様こんにちは! プロダクト技術課の斎藤です SBクラウドはクラウドフレア・ジャパン株式会社と提携し、Cloudflareのソリューションを提供しております。 今回はCloudflare Gatewayを利用して、簡単にクライアントのWebフィルタリングを行ってみました。 ww…

ARMS Prometheus MonitoringでACKクラスターを監視する

こんにちは、ソリューションアーキテクトの有馬です。 今回は Application Real-Time Monitoring Service (ARMS) で、Container Service for Kubernetes (ACK) のモニタリングを試してみたいと思います。 ※ 以降は Application Real-Time Monitoring Ser…

MaxCompute連載15:TableStoreからMaxComputeへ連携する方法

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の15回目です。 今回はTableStoreからMaxComputeへ連携する方法について説明します。 前回の記事はこちらをご覧ください。 www.sbcloud.co.jp …

MaxCompute連載14:ElasticsearchからMaxComputeへ連携する方法

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の14回目です。 今回はElasticsearch からMaxComputeへ連携する方法について説明します。 前回の記事はこちらをご覧ください。 www.sbcloud.co…

Alibaba Cloud IDaaSを使ってVPN Gatewayに2要素認証を導入してみた

皆様こんにちは! プロダクト技術課の斎藤です。 先日、Alibaba Cloud国際サイトで「IDaaS」というプロダクトのPublic Preview(beta版)がリリースされました。 VPN Gatewayと組み合わせることで、SSL-VPN接続時にID+パスワード認証を追加することが出来るよ…