ビッグデータ

【Hologres連載】リアルタイムDWH・Hologresのご紹介

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Hologres が今年6月にHologres 日本リージョンリリースしたので、この機会も兼ねて、Hologresを紹介しょうと思います。 Hologresとは 現在のDWH(データウェアハウス)の課…

MaxCompute連載15:TableStoreからMaxComputeへ連携する方法

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の15回目です。 今回はTableStoreからMaxComputeへ連携する方法について説明します。 前回の記事はこちらをご覧ください。 www.sbcloud.co.jp …

MaxCompute連載14:ElasticsearchからMaxComputeへ連携する方法

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の14回目です。 今回はElasticsearch からMaxComputeへ連携する方法について説明します。 前回の記事はこちらをご覧ください。 www.sbcloud.co…

MaxCompute連載12:LogServiceからMaxComputeへ連携する方法

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の12回目です。 今回はLogServiceからMaxComputeへ連携する方法について説明します。 前回の記事はこちらをご覧ください。 www.sbcloud.co.jp …

MaxCompute連載11:MaxComputeでJobを設定する

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の11回目です。 今回はDataWorksのジョブ処理を使って、MaxCompute Tableで定期的なデータ格納処理をする方法について説明します。 前回の記事…

MaxCompute連載9:JSONファイルをMaxComputeの外部テーブルとして処理する

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の9回目です。 今回はJSONファイルをMaxComputeの外部テーブルとして処理する方法について説明します。 前回の記事はこちらをご覧ください。 w…

MaxCompute連載8:JSONファイルをMaxComputeの内部テーブルに格納する

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の8回目です。 今回はJSONファイルをMaxComputeの内部テーブルに格納する方法について説明します。 前回の記事はこちらをご覧ください。 www.s…

MaxCompute連載13:RDS for MySQL からMaxComputeへ連携する方法

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の13回目です。 今回はRDS for MySQL からMaxComputeへ連携する方法について説明します。 前回の記事はこちらをご覧ください。 www.sbcloud.co…

MaxCompute連載7:CSVファイルをMaxComputeの外部テーブルとして処理する

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の7回目です。 今回はCSVファイルをMaxComputeの外部テーブル(EXTERNAL Table)として格納する方法をについて説明します。 前回の記事はこち…

MaxCompute連載6:CSVファイルをMaxComputeの内部テーブルに格納する

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の6回目です。 今回はMaxComputeでCSVファイルを格納、SQL処理する方法を説明します。 前回の記事はこちらをご覧ください。 www.sbcloud.co.jp…

MaxCompute連載5:MaxComputeを支えるツール・TunnelとIntelliJ IDEAについて

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の5回目です。 今回はMaxComputeを支えるツール・TunnelおよびIntelliJ IDEAについてを説明します。 前回の記事はこちらをご覧ください。 www.…

MaxCompute連載4:MaxComputeのセキュリティについて

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute 」についての連載記事の4回目です。 今回はMaxComputeのセキュリティについて説明します。 前回の記事はこちらをご覧ください。 www.sbcloud.co.jp 前書き MaxComp…

MaxCompute連載3:DataWorksにおける基本モードと標準モード、開発環境と本番環境について

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute([https://www.alibabacloud.com/product/maxcompute) 」についての連載記事の3回目です。 今回はDataWorksにおける基本モードと標準モード、開発環境と本番環境に…

MaxCompute連載2:MaxComputeをハンドリングするDataWorksについて

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載2回目です。 今回はAlibaba Cloud MaxComputeを操作するために必要となるDataWorksについてを説明します。 前回の記事はこちらをご覧ください。 ww…

MaxCompute連載1:毎年世界No.1のTPC-BB(Big Data処理ベンチマーク)を記録し続けるMaxComputeのご紹介

Hi, データエンジニアの大原です。 今回からAlibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載をはじめます。 第1回はMaxComputeの特徴や他のビッグデータ処理プラットフォームとの違いなどを説明します。 第2回の記事はこちらです。 …

DAMO 画像認識API

140種類以上の画像認識APIを提供し、各業界の業務課題に合わせたAIモデルの構築をサポートします。 アリババグループの先端技術研究機関である「アリババDAMOアカデミー(達摩院)」で開発した画像認識APIを使用し、商品分類・ラベリング、車両損傷、医療診…

ダンス育成アプリの運営基盤にサーバーレスを採用(エイベックス・ビジネス・ディベロップメント株式会社)

エイベックス・ビジネス・ディベロップメントはダンス育成アプリ「Dance COMMUNE」でAlibaba Cloudの仮想サーバー「Elastic Compute Service(GPUインスタンス)」 とサーバーレス実行環境「Function Compute」を導入しました。

今さらだが人に聞けない話、データ分析とは?

Hi, データエンジニアの大原です タイトル通り、データ分析について色々集中的に記載しょうと思います。 そもそもの話、データ分析とは何か? なぜデータ分析が必要なのか? データ分析を行うモチベーション 記述的分析(データの二次元的可視化) 相関分析…

AI・データ活用ソリューション

ECサイト運営効率化 画像認識AIソリューション 詳しくはこちら アリババグループの先端技術研究機関である「アリババDAMOアカデミー(達摩院)」で開発したAI技術を活用し、ECサイト、アプリの運営業務を効率化します。 Greed Solver ~菜鳥スマート物流ソリ…

ビッグデータでアフターコロナの旅行業界を支援、貴州省のミニプログラム「一碼遊貴州」【山谷剛史の中国から学ぶITトレンド】

観光業などの経済再始動を目的とした「GoToトラベルキャンペーン」が国内で話題になっておりますね。現在、中国でも感染リスクを高めないようにしつつ観光業復活を目指す動きが目立っています。 中でもビッグデータ産業に力を入れる西南部の「貴州省」では、…

『ドラゴンクエストライバルズ』の対戦データを機械学習で分析(スクウェア・エニックスとの共同研究)

『ドラゴンクエストライバルズ』の対戦データを機械学習で分析…ゲーム業界とAlibaba Cloudが踏み出した一歩 スクウェア・エニックスは、アジア太平洋地域最大のクラウド事業者であるAlibaba Cloudの日本向けサービスを展開するSBクラウドと共同研究プロジェ…

【後編】Alibaba Cloudがデータ分析に強い理由-日本での導入事例から見る特長-(技術コラム)

世界3位のIaas市場シェアを持つAlibaba Cloud(アリババクラウド)。2017年には国際オリンピック委員会のクラウドサービスパートナーになるなど、あらゆるビジネスから注目を集めています。 前編では、Alibaba Cloudのデータ分析プロダクトが誕生した歴史や…

【前編】Alibaba Cloudがデータ分析に強い理由-自社の課題解決から生まれた3つの設計思想-(技術コラム)

世界3位のIaas市場シェアを持つAlibaba Cloud(アリババクラウド)。2017年には国際オリンピック委員会のクラウドサービスパートナーになるなど、あらゆるビジネスから注目を集めています。 AlibabaCloudにおいて特筆すべきは「データ分析」でしょう。「独身…

梓設計がAlibaba Cloudの「Image Search」を導入した理由(ウェビナーレポート)

2020年7月1日に、SBクラウドウェビナー「なぜ設計事務所が画像検索?大手設計事務所 梓設計はどうやってDXを推進できたのか?」を開催しました。スピーカーとして梓設計・渡邊 圭様にご登壇頂き、画像検索機能を搭載したアプリの開発背景や、プロセスについ…

データ分析基盤の基本と構築のポイント

データ分析基盤の基本と構築のポイントについて解説します。 目次 データ分析基盤とは データ分析基盤の構成 データレイク データウェアハウス データマート データ分析基盤構築のポイント ユースケースの確保 効率的なデータ収集 データスキーマの運用 デー…

エッジコンピューティング

エッジコンピューティングについて解説します。 目次 エッジコンピューティングの仕組み エッジサーバーとは エッジコンピューティングのメリット エッジコンピューティングの活用事例 IoTでの活用 5Gとの関わり AI、機械学習への応用 クラウドAIとエッジAI …

ビッグデータ

ビッグデータについて解説します。 目次 ビッグデータとは 3つのV ビッグデータが注目される理由 ビッグデータを支える技術 NoSQL(Not only SQL) MapReduceとHadoop ディープラーニング ビッグデータと個人情報 個人情報保護法の改正 GDPRとCookieの利用制…

【オンデマンドウェビナー】なぜ設計事務所が画像検索?大手設計事務所 梓設計はどうやってDXを推進できたのか?

ウェビナー視聴はこちら 今回は、梓設計・渡邊 圭様にご登壇頂き、画像検索機能を搭載したアプリの開発背景や、プロセスについてご紹介いただきます。(視聴時間:約30分) 本セミナーは、SBクラウドのお客様の事例をご紹介するウェビナー(オンラインセミナ…

工場設備の稼働データ分析

工場設備の稼働データ分析 複数拠点に散らばった稼働データをAlibaba Cloudに収集・可視化し、リアルタイム監視を行います。また設備から取得・蓄積したデータの活用により、機械学習によってお客様の設備にあった「故障予知モデル」を構築し、故障予測、設…

その他ソリューション

データベース - ApsaraDB for POLARDB - 詳しくはこちら 「ApsaraDB for POLARDB」は、MySQL、PostgreSQL、Oracleと互換性のあるクラウドネイティブなリレーショナルデータベースです。 こんな方におすすめ 分散リレーショナルデータベースサービスを探して…

製造業向けソリューション

IoTプラットフォーム 詳しくはこちら Alibaba Cloud IoT Platformは、IoT企業向けのデバイス管理サービスです。 SBクラウドは、Alibaba Cloud IoT Platformの特長を活かし、パートナー企業と連携した一連のシステム・サービスを、お客様の要望や課題にあわせ…

Security Centerの機能の紹介

はじめに こんにちは!エンジニアの倉田です。 今回は、セキュリティ構築支援のプロダクトであるSecurity Centerに触れる機会があったため、 その特徴と使用方法、および注意点をまとめようと思います。 まずは、Security Centerについての概要について説明…

LogServiceをDataVのデータソースに登録する

こんにちは、エンジニアのななみんです! みなさん、DataVのデータソースとしてLogServieが選択できることをご存知でしょうか? 2018年時点でLogServiceをDataVのデータソースとして使用することはできていたようなのですが、 連携方法が見当たらなかったた…

PAI-AutoLearningの紹介〜コードなし、機械学習知識不要の画像分類〜

エンジニアのホンです。今回Alibaba Cloudの機械学習プラットフォームPAIの最新のプロダクトAutoLearningを紹介します。 PAI-AutoLearningとは PAI-AutoLearning自動化モデリングプラットフォームは、PAIの最新の機能の一つです。機械学習モデリングサービス…

Alibaba Cloudのビッグデータ分析系プロダクトの紹介(後編)

技術課の牛嶋です。 Alibaba CloudはパブリッククラウドとしてIaaSサービスを提供していますが、いわゆるビッグデータを用いた分析関連のプロダクトも充実しているという特徴があります。今回はその特徴を伝える為に、概要、機能/アーキテクチャ、シナリオと…

顧客データプラットフォーム

顧客データプラットフォーム Alibaba Cloudのデータ分析プロダクト群を利用し、顧客データプラットフォームの構築やアドサーバー、SSP、DSPなどの広告配信システム基盤、ソーシャルメディアやWebサイト分析基盤としてご活用いただけます。 プロフェッショナ…

中国側工場の稼働監視

中国側工場の稼働監視 中国に生産拠点を置く製造業向けに、工場内設備にセンサーを取り付け、稼働データをクラウド上に収集、蓄積、分析します。日本~中国間を専用線で接続し、日本の本社からも工場の稼働状況をリアルタイムで確認することができます。 お…

Alibaba Cloudのビッグデータ分析系プロダクトの紹介(前編)

技術課の牛嶋です。 Alibaba CloudはパブリッククラウドとしてIaaSサービスを提供していますが、いわゆるビッグデータを用いた分析関連のプロダクトも充実しているという特徴があります。今回はその特徴を伝える為に、概要、アーキテクチャ、シナリオという3…

Alibaba Cloud IoT Platformのストリーミングデータに対する異常検知について

こんにちは。Kouです。 最近IoTの投稿が増えてきましたが、ご覧頂いていますでしょうか。今回の記事は、異常検知というIoTでよくあるトピックに着目したいと思います。異常検知と言えば、機械学習の手法により、複雑なデータの前処理とか、予測モデルの学習…

Link AnalyticsでBIMを作って見た

こんにちは! はくです。 Link Analyticsは3D可視化機能を提供しています。IoTの普及により、CPSも身に近くなっています。今回は、Link Analyticsの3D可視化機能により、シンプルなBIM Demoを作りできたため、その内容をご紹介します。 プロダクト紹介 Link …

Link AnalyticsのSQLジョブを作って見ました

こんにちは! はくです。 Link AnalyticsのSQLジョブを作って見ました。デバイスから上がってきたデータをSQLでフィールターをかけて、APIとして外部に公開できました。その内容を紹介します。 プロダクト紹介 Link Analyticsは、IoT開発者向けのAlibaba Clo…

IoTPlatformへArduinoからデータを送りDataVで可視化する

こんにちは、ソリューションアーキテクトのななみんです! もう少しで春ですね。 半年ほど前にひつじ先輩がIoTPlatformの記事を書いていたのですが、今回はその続編を共同執筆という形で書いていこうと思います。 Arduinoというマイコンに搭載されるメジャー…

Content Moderationで画像・映像を評価してみました

サービスの概要 こんにちは!SAのたかはしです。 今日はAlibabaCloudが提供する「 Content Moderation 」をご紹介します。 「 Content Moderation 」は 画像、動画、テキスト から アダルトやテロ関連のコンテンツを検出する為のAPI を提供するサービスで、…

LineBot+ImageSearchで手軽にAlibabaクラウドの画像検索サービスを利用する

皆さんはじめまして、HRです。 今回はLineBotからAlibabaクラウドのImageSearchを使って、画像検索機能を利用してみました。 早速、実現方法について簡単に記載させていただきます。 ①まずLineBotを作成するために、下記のURLからLineDevelopersアカウントを…

新型コロナウイルス(COVID-19)の感染状況をAlibaba Cloud「Log Service」で可視化した事例

SBクラウド広報の阿部(@abm)です。 日本でも感染が広まりつつある新型コロナウイルス(COVID-19)ですが、中国国内での感染状況を可視化したダッシュボード「新冠病毒疫情实时动态」がAlibaba Cloudより公開されております。 このダッシュボードはCCTVや人…

Apsara StackはAWS Outpostsとどう違うのか?

イントロ クラウド技術課の牛嶋と申します。先日、AWSからOutpostsというクラウドの環境をオンプレミスで再現するサービスがリリースされ、 その反応としてお客様から「Alibaba Cloudで似たようなサービスをリリースする予定はないのか?」と質問がありまし…

Alibaba Cloud GPU活用事例:経理会計スタートアップ「ファーストアカウンティング株式会社」

Alibaba Cloud GPU活用事例:経理会計スタートアップ「ファーストアカウンティング株式会社」 ファーストアカウンティング株式会社 共同創業者 松田顕 氏、社長室 松原正和 氏 AIの力を使って「経理、その先へ」という壮大なビジョンを実現しようとしている…

ファーストアカウンティング株式会社

Elastic Compute Service(ECS)のGPUインスタンスは低コストに加えて、非常に安定しているため深層学習には最適な環境だと思います。 ファーストアカウンティング株式会社 https://www.fastaccounting.jp/ 概略 経理会計業務に特化したAIソリューション「Ro…

ImageSearchデモツールを作って見た

こんにちは。エンジニアの清水です。 今回、ImageSearchのデモツールを作成しましたので、共有したいと思います。 あくまで、デモツールなのでコードなどもっと綺麗に書いてよとかツッコミどころが あると思いますが、ご了承ください。 IPhoneから利用するこ…

E-Mapreduceでデータの前処理を実践

こんにちは、Kouです。 データセットの前処理と言えば、オープンソースのPandasでDataframeとSeriesを操作するのが一般的ですが、データのサイズが大きいほど、大量のデータを読み込もうとすると、メモリ不足でエラーになる可能性、もしくは長時間待たされる…