Engineers' Blog

Alibaba Cloudのデータ分析プロダクトといえば、E-MapReduceの採用を考えるべし

技術課の牛嶋です。Alibaba Cloudのデータ分析プロダクトで特徴であるE-MapReduceについて紹介したいと思います。 Alibaba Cloud E-Map Reduce とは 100% Open Source コンポーネント エンタープライズな機能 コストの優位性 アーキテクチャ Masterの役割 Co…

PAI-AutoLearningの紹介〜コードなし、機械学習知識不要の画像分類〜

エンジニアのホンです。今回Alibaba Cloudの機械学習プラットフォームPAIの最新のプロダクトAutoLearningを紹介します。 PAI-AutoLearningとは PAI-AutoLearning自動化モデリングプラットフォームは、PAIの最新の機能の一つです。機械学習モデリングサービス…

IoT StudioでRaspberry piに基づいてワンストップ開発を試して見た(後編)

こんにちは!エンジニアの豹です。 前編ではIoT Studioで開発する時のプロセスを説明し、RGB LEDモジュールをRaspberry piに基づいてどうやってAlibaba Cloud IoT Platform連携するのか、モジュールの機能を発揮させるため、デバイス側の開発手法を紹介しま…

IoT StudioでRaspberry piに基づいてワンストップ開発を試して見た(前編)

こんにちは!エンジニアの豹です。 今回はRaspberry piを使って、IoT Studioでワンストップ開発を試してみました。 Alibaba IoT Platformにおけるデバイスデータの収集から可視化までをカバーするシステム構築を紹介させていただきます。 ダッシュボード上で…

Linkkit SDK利用ガイド

SA課の牛嶋です。Alibaba CloudのIoT Platformにおいて、同僚の有識者がLinkkit SDKについてMarkdown形式で記載してもらったので、ブログで投稿して共有したいと思います。 目的 概要紹介 Linkkit SDK と AliOS things の関係 SDK利用以外の実装方法 ソフト…

お客様の事象の切り分けのための参考情報 ~HARファイルを取得する~

はじめに 今回は、クラウド含めシステム環境に予期せぬ事象が発生した際のお客様ご自身の情報整理等のために役立つ方法の一参考とし、 「HARファイルの取得方法」を簡単にご紹介しようと思います。 この記事を読まれた方の参考となり、お客様の情報整理にお…

お客様の事象の切り分けのための参考情報 ~MTRを取得する~

はじめに 今回は、クラウド含めシステム環境に予期せぬ事象が発生した際のお客様ご自身の情報整理等のために役立つ方法の一参考とし、「MTRの取得方法」を簡単にご紹介しようと思います。 この記事を読まれた方の参考となり、お客様の情報整理にお役立て頂け…

Alibaba Cloudのビッグデータ分析系プロダクトの紹介(後編)

技術課の牛嶋です。 Alibaba CloudはパブリッククラウドとしてIaaSサービスを提供していますが、いわゆるビッグデータを用いた分析関連のプロダクトも充実しているという特徴があります。今回はその特徴を伝える為に、概要、機能/アーキテクチャ、シナリオと…

Alibaba PAIでend-to-endに機械学習アプリを作ってみた(Part 3)

こんにちは。エンジニアのマクシムです。 今回は「PAIで機械学習アプリを作ってみた」シリーズのPart 3です。Part 1ではOSSとPAI-DSWを連携して機械学習モデルを学習させて、Part 2ではPAI-EASでモデルのデプロイを行いました。Part 3では、EASでのモデルデ…

Alibaba PAIでend-to-endに機械学習アプリを作ってみた(Part 2)

こんにちは。機械学習エンジニアのマクシムです。 本記事は、Alibaba CloudのPAIを使った機械学習アプリ開発プロセスを紹介するシリーズのPart 2です。前回Part 1に続いて、学習済みのモデルのパッケージングとデプロイを行います。 Part 1はこちらから。 開…

Alibaba PAIでend-to-endに機械学習アプリを作ってみた(Part 1)

はじめまして。SBクラウド機械学習エンジニアのマクシムです。 今回は3つの記事に渡って、Alibabaの機械学習プラットフォーム「PAI」を使ってデータの読み込みからアプリのサービングまで、end-to-endに機械学習アプリを作ってみます。PAIの開発環境、「DSW…

Alibaba Cloudのビッグデータ分析系プロダクトの紹介(前編)

技術課の牛嶋です。 Alibaba CloudはパブリッククラウドとしてIaaSサービスを提供していますが、いわゆるビッグデータを用いた分析関連のプロダクトも充実しているという特徴があります。今回はその特徴を伝える為に、概要、アーキテクチャ、シナリオという3…

IoTストリーミングデータに対する異常検知について

こんにちは。Kouです。 最近IoTの投稿が増えてきましたが、ご覧頂いていますでしょうか。今回の記事は、異常検知というIoTでよくあるトピックに着目したいと思います。異常検知と言えば、機械学習の手法により、複雑なデータの前処理とか、予測モデルの学習…

運用監視入門トレーニング 2.0 実施手順

はじめに 本コースについて 目標 受講方法 受講テキスト一式 アンケート 動画テキスト DingTalkグループへの参加方法 本講座の開講履歴 はじめに オフラインでトレーニングが開催できない状況が続いていますので、新たにトレーニング開催方法を模索していま…

IoT Platformの POP API呼び出しデモの紹介

イントロ 技術課の牛嶋です。同僚の技術者が、IoT PlatformのPoP API呼び出しをNode.jsで実装したデモを作成したので、共有したいと思います。 1. Alibaba Cloud POP API SDKを追加する 下記のようにNodeJS中でSDKをインストール。 @alicloud/pop-core https…

Serverless Kubernetes (ASK) を使用したPodのデプロイとServiceへの接続について

こんにちは、ソリューションアーキテクトの有馬です。 今回はServerless Kubernetes (ASK) の利用についてご紹介します。 はじめに クラスタ作成 基本操作 kubeconfigの作成 ノード Podのデプロイ Serviceの作成 まとめ はじめに SBクラウドEngineers' Blog…

Alibaba Cloud Oracle 移行ツールADAM(データベース移行仕組み紹介)

こんにちは、SBCエンジニアの Z です。 引き続きアリババクラウド の Advanced Database & Application Migration(ADAM) の紹介です。 Advanced Database & Application Migration(ADAM) というのはアリババクラウドが開発したオンプレミスからデータベース…

AWSエンジニアがAlibaba Cloudのデータベース製品を理解する為の比較解説

1. イントロ 2. リレーショナルデータベース 2.1. 機能比較 2.2. 機能の違い:読み取りと書き込みの分離 2.2. 機能の違い:SQL監査 2.3. 可用性 2.4. セキュリティ 2.5. スケーラビリティ 2.6. メンテナンス性 2.7. 費用 3. 非リレーショナルデータベース 3.…

FunctionComputeを利用して日本と中国リージョン間でOSSファイル転送を実現

こんにちは、SBCエンジニアのZです。(^_^)z 今回はAlibabaCloud が提供しているサーバレスコンピューティングサービス FunctionCompute の 利用検証になります。 前書き 現在世界中にグロバール化が進んでいる一方、クラウドサービスを利用も拡大し、グロー…

【国際サイト】Object Storage Service (OSS) の Zone-Redundant Storage (ZRS) 機能に関して

Hello, The Y です。 今回は Object Storage Service (OSS) バケットの Zone-Redundant Storage (ZRS) に関して少し説明したいと思います。 こちらの機能は日本サイトでは未提供であります。(2020年3月17日時点) 使用には国際サイトのアカウントを準備して…

AWSエンジニアがAlibaba Cloudのネットワーク製品を理解する為の比較解説

1. イントロ 2. VPC 2.1 機能の比較 2.2. 請求モデル 2.3. NATの主な利点 3. ロードバランサー 3.1. 機能の比較 3.2. 請求モデル 3.3. 主な利点 4. オンプレミスとの専用回線 4.1. 機能の比較 4.2. 請求モデル 4.3 CENの特徴 5. あとがき 1. イントロ 技術課…

AWSエンジニアがAlibaba CloudのECSを理解する為の比較解説

1. イントロ 2. 仮想サーバー 3. ログイン手順 4. インスタンスタイプ 5. イメージとマーケットプレイス 6. ブロックストレージ 7. コスト 8. オートスケーリング 9. コンテナサービス 10. 高性能コンピューティング 11. あとがき 1. イントロ 技術課の牛嶋…

機械学習:ニューラルネットワークのビジュアルモデリング機能を使ってみた

初めまして、エンジニアのホンです。 今日はAlibabaCloudが提供する機械学習PAI-DSWの『FastNeuralNetwork』機能について、ご紹介します。 複雑なディープラーニングネットワークは通常、数十行または数百行のコードで構成され、ネットワークの各層は以下に…

Object Storage Service のクロスリージョンレプリケーション対応エリアが拡大しました❗️

こんにちは。 ソリューションアーキテクトの松田(@MatYoshr)です。 昨年、Object Storage Service(OSS)クロスリージョンレプリケーション機能のご紹介をさせていただきましたが、中国本土外のリージョン間での対応エリアが拡大しました www.sbcloud.co.jp …

Link Analyticsの地図可視化を触って見た

こんにちは! はくです。 Link Analyticsの2D可視化機能を触って見た。デバイスの位置情報に基づき、地図上に表現する単純な動作を実現できた為、その内容を紹介します。 プロダクト紹介 Link Analyticsは、IoT開発者向けのAlibaba Cloudのデータ分析サービ…

Link AnalyticsでBIMを作って見た

こんにちは! はくです。 Link Analyticsは3D可視化機能を提供しています。IoTの普及により、CPSも身に近くなっています。今回は、Link Analyticsの3D可視化機能により、シンプルなBIM Demoを作りできたため、その内容をご紹介します。 プロダクト紹介 Link …

Link AnalyticsのSQLジョブを作って見ました

こんにちは! はくです。 Link AnalyticsのSQLジョブを作って見ました。デバイスから上がってきたデータをSQLでフィールターをかけて、APIとして外部に公開できました。その内容を紹介します。 プロダクト紹介 Link Analyticsは、IoT開発者向けのAlibaba Clo…

【国際サイト】Object Storage Service (OSS) の Transfer Acceleration 機能に関して

Hello, The Y です。 今回は Object Storage Service (OSS) バケットの Transfer Acceleration に関してダイブしたいと思います。 3月中旬にAlibabaのOSSプロダクトチームと連絡し、結果を伝えたところ、 開発側が不具合に再現でき、今後修正する予定でござ…

Elastic Container Instance (ECI)でサーバレスなコンテナ環境を利用する

こんにちは、ソリューションアーキテクトの有馬です。 今回はAlibaba Cloudの国際サイトで提供しているElastic Container Instance (ECI)をご紹介します。 Elastic Container Service (ECI)とは 特徴 アーキテクチャ ECIの作成 検証構成 コンソール編 作成画…

IoTPlatformへArduinoからデータを送りDataVで可視化する

こんにちは、ソリューションアーキテクトのななみんです! もう少しで春ですね。 半年ほど前にひつじ先輩がIoTPlatformの記事を書いていたのですが、今回はその続編を共同執筆という形で書いていこうと思います。 Arduinoというマイコンに搭載されるメジャー…

Content Moderationで画像・映像を評価してみました

サービスの概要 こんにちは!SAのたかはしです。 今日はAlibabaCloudが提供する「 Content Moderation 」をご紹介します。 「 Content Moderation 」は 画像、動画、テキスト から アダルトやテロ関連のコンテンツを検出する為のAPI を提供するサービスで、…

春のAlibaba Cloud集中オンライン講座 2020 開講決定!

こんにちは、SBクラウドの寺尾です。 4月5月は入社・異動のシーズンですよね。ということで、春のAlibaba Cloud集中オンライン講座を開催したいと思います! 異動のシーズンですし、新しくクラウドを扱わないといけなくなったとか、情シスに配属されたのでク…

Arduino + Alibaba IoT Platform + Linebotで擬似スマートホームを実現する

皆さんこんにちは!HRです。 今回はタイトル通り、AlibabaクラウドのIoTプラットフォームを使って、 擬似のスマートホームを実現してみたいと思います。 実現したいシナリオは以下二つです。 1.LineBotからAlibabaIoTPlatform経由でArduinoのLEDを点滅させる…

LineBot+ImageSearchで手軽にAlibabaクラウドの画像検索サービスを利用する

皆さんはじめまして、HRです。 今回はLineBotからAlibabaクラウドのImageSearchを使って、画像検索機能を利用してみました。 早速、実現方法について簡単に記載させていただきます。 ①まずLineBotを作成するために、下記のURLからLineDevelopersアカウントを…

LogServiceで扱える機械学習の時系列分析を使ってみました ~単一時系列処理編~

はじめに こんにちは、エンジニアの倉田です。 2回目の投稿になります。 IoT Platform から取得した IoTのデータで予知保全を行うために機械学習をする場合があります。 基本的に予知保全等で用いるデータは時系列データである場合がほとんどであり、機械学…

OpenVPNとVPC(RouteTable)の設定だけで特定ドメインのみAlibabaCloudにルーティングさせるNW構成を作る

こんにちは!SHUです!今回は、特定のドメインやG-IP向けの通信経路だけAlibaba Cloud網を通したいときの手段として検証してみました。 VPC間にCENを通して2つのVPCをつなげたうえで試してみました。 VPN接続後、NATサーバ(ECS)を通ってアクセスするようにな…

FunctionComputeで実現するDTS(DataTransmissionService)のデータ移行のスケジューリング処理(DTS紹介編)

こんにちは!SHUです! 今回は、DTS(DataTransmissionService)をFunctionComputeで操り、 「データ移行」サービスを定期実行(バッチ処理)させるスクリプトをFunctionComputeで実現します。FunctionComputeって何?という方は前回のECSをFunctionCompute…

【Albaba Cloud CDN】カスタムヘッダーを利用したキャッシングをやってみる

こんにちは、 SBクラウドの福田です。 今回はAlbaba Cloud CDNについて取り上げてみたいと思います。 CDNというとどういうイメージがありますでしょうか? 配信早そうとか、世界中に沢山あるとか、または設定が意外とめんどくさそう・・・、などいろいろある…

Alibaba Cloud Oracle 移行ツールADAM(データベース診断)

こんにちは、SBCエンジニアZです。 最近はアリババクラウド の Advanced Database & Application Migration(ADAM) という製品を少々触りました。 Advanced Database & Application Migration(ADAM) というのはアリババクラウドが開発したオンプレミスからデ…

新型コロナウイルス(COVID-19)の感染状況をAlibaba Cloud「Log Service」で可視化した事例

SBクラウド広報の阿部(@abm)です。 日本でも感染が広まりつつある新型コロナウイルス(COVID-19)ですが、中国国内での感染状況を可視化したダッシュボード「新冠病毒疫情实时动态」がAlibaba Cloudより公開されております。 このダッシュボードはCCTVや人…

LogServiceのETL機能を試してみた

はじめに こんにちは。エンジニアの石井です。 今回は前回に引き続きLogServiceの話題で、DataTransformation機能について試してみたので、共有させていただこうと思います。 データのアップロード等で前回のブログに記載の関数(put_logsとその周辺)を使うの…

IoT Platformのルールエンジンについて

こんにちは!エンジニアのブルーです! 最近はIoTに関する案件が増えてきた印象があります。 そこで、本日はAlibaba Cloudが提供するIoT Platformの機能の1つであるルールエンジンについてご紹介したいと思います。 ルールエンジンとは? ルールエンジンの種…

FunctionComputeにライブラリをアップロードする

こんにちは、新人エンジニアのななみんです。 今回は、FunctionComputeにライブラリをアップロードする方法をご紹介します。 このブログでは、numpyという効率的な数値計算を行うためのライブラリをアップロードし、 FunctionCompute上のpythonから呼び出し…

PAIで商品をレコメンドする機械学習モデルを作ってみた Part2

はじめに 初めまして、エンジニアの倉田と申します。 1回目のTechブログ投稿になります。 今回は、高橋さんの投稿した の続編を書いていきます。 続きとなりますので、前回のブログをまだ読んでいない方は先に一読をお願いいたします。 前回は、PAI(Machine…

DataVユーザーの強い味方!DataV Proxyについて

みなさんこんにちは。よしいです。 気がつけば2月…時が経つのは早いですね。 突然ですが、DataVにデータベース接続したウィジェットのコネクション数が原因で、 データベースに負荷が掛かって困った、という経験はないでしょうか。 今回は、そんな問題を解決…

Alibaba Cloud の RI(リザーブドインスタンス)を使おう❗️

こんにちは。 ソリューションアーキテクトの松田(@MatYoshr)です。 今回は国際サイトで利用できる待望の料金プランである、ECS の「Reserved instance(RI)」に関して紹介していきたいと思います 本記事は Alibaba Cloud 国際サイトの内容をベースに説明し…

LogServiceではじめる時系列分析(教師なしML編)

はじめに こんにちは。エンジニアの石井です。 前回から1年半ほど経ち、2回目の投稿ととなります。 今回はLogServiceで実現できる教師なしMLについて主に扱います。ほんの一部の説明のみですが、多少なりとも使い方のイメージを掴んでもらえると嬉しいです!…

IoT StudioでWebページを作ってみました

こんにちは! はくです。 IoT StudioでWebページを作って見ました。オフィスの温度を確認、ライトをコントロールするシンプルなページです。電球をダブルクリックしたら、ライトデバイスをon/offする、温度をリアルタイムに表示することを下記のように実現で…

Alibaba Cloud IoT Platformに接続してみました

こんにちは! はくです。 Alibaba Cloud IoT Platform上に、仮想デバイスを定義し、IoT Platform環境と接続をやって見ました。温度センサーがCloud環境へ温度を送信することをシミュレーションできたため、その内容を紹介します。 環境紹介 ■Cloud側 ・Aliba…

ワンクリックで既存のRDSからPOLARDBを作成する

こんにちは、SBCエンジニアのZです。 今回もまた Alibaba Cloud ApsaraDB for POLARDB の紹介となります。 Alibaba Cloud ApsaraDB for POLARDB のデータベースクラスタを作成するには三つの方法があります。 ・新規購入 ・RDSからクローン ・RDSからマイグ…