ビッグデータ
Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の15回目です。 今回はTableStoreからMaxComputeへ連携する方法について説明します。 前回の記事はこちらをご覧ください。 www.sbcloud.co.jp …
Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の14回目です。 今回はElasticsearch からMaxComputeへ連携する方法について説明します。 前回の記事はこちらをご覧ください。 www.sbcloud.co…
Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の12回目です。 今回はLogServiceからMaxComputeへ連携する方法について説明します。 前回の記事はこちらをご覧ください。 www.sbcloud.co.jp …
Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の11回目です。 今回はDataWorksのジョブ処理を使って、MaxCompute Tableで定期的なデータ格納処理をする方法について説明します。 前回の記事…
Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の9回目です。 今回はJSONファイルをMaxComputeの外部テーブルとして処理する方法について説明します。 前回の記事はこちらをご覧ください。 w…
Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の8回目です。 今回はJSONファイルをMaxComputeの内部テーブルに格納する方法について説明します。 前回の記事はこちらをご覧ください。 www.s…
Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の13回目です。 今回はRDS for MySQL からMaxComputeへ連携する方法について説明します。 前回の記事はこちらをご覧ください。 www.sbcloud.co…
Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の7回目です。 今回はCSVファイルをMaxComputeの外部テーブル（EXTERNAL Table）として格納する方法をについて説明します。 前回の記事はこち…
Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の6回目です。 今回はMaxComputeでCSVファイルを格納、SQL処理する方法を説明します。 前回の記事はこちらをご覧ください。 www.sbcloud.co.jp…
Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の5回目です。 今回はMaxComputeを支えるツール・TunnelおよびIntelliJ IDEAについてを説明します。 前回の記事はこちらをご覧ください。 www.…
Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute 」についての連載記事の4回目です。 今回はMaxComputeのセキュリティについて説明します。 前回の記事はこちらをご覧ください。 www.sbcloud.co.jp 前書き MaxComp…
Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute([https://www.alibabacloud.com/product/maxcompute) 」についての連載記事の3回目です。 今回はDataWorksにおける基本モードと標準モード、開発環境と本番環境に…
Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載2回目です。 今回はAlibaba Cloud MaxComputeを操作するために必要となるDataWorksについてを説明します。 前回の記事はこちらをご覧ください。 ww…
Hi, データエンジニアの大原です。 今回からAlibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載をはじめます。 第1回はMaxComputeの特徴や他のビッグデータ処理プラットフォームとの違いなどを説明します。 第2回の記事はこちらです。 …
140種類以上の画像処理系APIを提供し、各業界の業務課題に合わせたAIモデルの構築をサポートします。 アリババグループの先端技術研究機関である「アリババDAMOアカデミー（達摩院）」で開発したAI-APIを使用し、商品分類・ラベリング、車両損傷、医療診断ま…
エイベックス・ビジネス・ディベロップメントはダンス育成アプリ「Dance COMMUNE」でAlibaba Cloudの仮想サーバー「Elastic Compute Service（GPUインスタンス）」 とサーバーレス実行環境「Function Compute」を導入しました。
Hi, データエンジニアの大原です タイトル通り、データ分析について色々集中的に記載しょうと思います。 そもそもの話、データ分析とは何か？ なぜデータ分析が必要なのか？ データ分析を行うモチベーション 記述的分析（データの二次元的可視化） 相関分析…
Greed Solver ～菜鳥スマート物流ソリューション～ 詳しくはこちら 配送ルート、荷物の梱包、コンテナへの積込、トラックの手配、庫内作業など物流に関する意思決定を個人に任せていませんか？ 菜鳥のアルゴリズムを使えば人手による時間もコストも削減して…
観光業などの経済再始動を目的とした「GoToトラベルキャンペーン」が国内で話題になっておりますね。現在、中国でも感染リスクを高めないようにしつつ観光業復活を目指す動きが目立っています。 中でもビッグデータ産業に力を入れる西南部の「貴州省」では、…
『ドラゴンクエストライバルズ』の対戦データを機械学習で分析…ゲーム業界とAlibaba Cloudが踏み出した一歩 スクウェア・エニックスは、アジア太平洋地域最大のクラウド事業者であるAlibaba Cloudの日本向けサービスを展開するSBクラウドと共同研究プロジェ…
世界3位のIaas市場シェアを持つAlibaba Cloud（アリババクラウド）。2017年には国際オリンピック委員会のクラウドサービスパートナーになるなど、あらゆるビジネスから注目を集めています。 前編では、Alibaba Cloudのデータ分析プロダクトが誕生した歴史や…
世界3位のIaas市場シェアを持つAlibaba Cloud（アリババクラウド）。2017年には国際オリンピック委員会のクラウドサービスパートナーになるなど、あらゆるビジネスから注目を集めています。 AlibabaCloudにおいて特筆すべきは「データ分析」でしょう。「独身…
2020年7月1日に、SBクラウドウェビナー「なぜ設計事務所が画像検索？大手設計事務所 梓設計はどうやってDXを推進できたのか？」を開催しました。スピーカーとして梓設計・渡邊 圭様にご登壇頂き、画像検索機能を搭載したアプリの開発背景や、プロセスについ…
データ分析基盤の基本と構築のポイントについて解説します。 目次 データ分析基盤とは データ分析基盤の構成 データレイク データウェアハウス データマート データ分析基盤構築のポイント ユースケースの確保 効率的なデータ収集 データスキーマの運用 デー…
エッジコンピューティングについて解説します。 目次 エッジコンピューティングの仕組み エッジサーバーとは エッジコンピューティングのメリット エッジコンピューティングの活用事例 IoTでの活用 5Gとの関わり AI、機械学習への応用 クラウドAIとエッジAI …
ビッグデータについて解説します。 目次 ビッグデータとは 3つのV ビッグデータが注目される理由 ビッグデータを支える技術 NoSQL（Not only SQL） MapReduceとHadoop ディープラーニング ビッグデータと個人情報 個人情報保護法の改正 GDPRとCookieの利用制…
ウェビナー視聴はこちら 今回は、梓設計・渡邊 圭様にご登壇頂き、画像検索機能を搭載したアプリの開発背景や、プロセスについてご紹介いただきます。（視聴時間：約30分） 本セミナーは、SBクラウドのお客様の事例をご紹介するウェビナー（オンラインセミナ…
工場設備の稼働データ分析 複数拠点に散らばった稼働データをAlibaba Cloudに収集・可視化し、リアルタイム監視を行います。また設備から取得・蓄積したデータの活用により、機械学習によってお客様の設備にあった「故障予知モデル」を構築し、故障予測、設…
データベース - ApsaraDB for POLARDB - 詳しくはこちら 「ApsaraDB for POLARDB」は、MySQL、PostgreSQL、Oracleと互換性のあるクラウドネイティブなリレーショナルデータベースです。 こんな方におすすめ 分散リレーショナルデータベースサービスを探して…
IoTプラットフォーム 詳しくはこちら Alibaba Cloud IoT Platformは、IoT企業向けのデバイス管理サービスです。 SBクラウドは、Alibaba Cloud IoT Platformの特長を活かし、パートナー企業と連携した一連のシステム・サービスを、お客様の要望や課題にあわせ…
はじめに こんにちは！エンジニアの倉田です。 今回は、セキュリティ構築支援のプロダクトであるSecurity Centerに触れる機会があったため、 その特徴と使用方法、および注意点をまとめようと思います。 まずは、Security Centerについての概要について説明…
こんにちは、エンジニアのななみんです！ みなさん、DataVのデータソースとしてLogServieが選択できることをご存知でしょうか？ 2018年時点でLogServiceをDataVのデータソースとして使用することはできていたようなのですが、 連携方法が見当たらなかったた…
エンジニアのホンです。今回Alibaba Cloudの機械学習プラットフォームPAIの最新のプロダクトAutoLearningを紹介します。 PAI-AutoLearningとは PAI-AutoLearning自動化モデリングプラットフォームは、PAIの最新の機能の一つです。機械学習モデリングサービス…
技術課の牛嶋です。 Alibaba CloudはパブリッククラウドとしてIaaSサービスを提供していますが、いわゆるビッグデータを用いた分析関連のプロダクトも充実しているという特徴があります。今回はその特徴を伝える為に、概要、機能/アーキテクチャ、シナリオと…
顧客データプラットフォーム Alibaba Cloudのデータ分析プロダクト群を利用し、顧客データプラットフォームの構築やアドサーバー、SSP、DSPなどの広告配信システム基盤、ソーシャルメディアやWebサイト分析基盤としてご活用いただけます。 プロフェッショナ…
中国側工場の稼働監視 中国に生産拠点を置く製造業向けに、工場内設備にセンサーを取り付け、稼働データをクラウド上に収集、蓄積、分析します。日本～中国間を専用線で接続し、日本の本社からも工場の稼働状況をリアルタイムで確認することができます。 お…
技術課の牛嶋です。 Alibaba CloudはパブリッククラウドとしてIaaSサービスを提供していますが、いわゆるビッグデータを用いた分析関連のプロダクトも充実しているという特徴があります。今回はその特徴を伝える為に、概要、アーキテクチャ、シナリオという3…
こんにちは。Kouです。 最近IoTの投稿が増えてきましたが、ご覧頂いていますでしょうか。今回の記事は、異常検知というIoTでよくあるトピックに着目したいと思います。異常検知と言えば、機械学習の手法により、複雑なデータの前処理とか、予測モデルの学習…
こんにちは！ はくです。 Link Analyticsは3D可視化機能を提供しています。IoTの普及により、CPSも身に近くなっています。今回は、Link Analyticsの3D可視化機能により、シンプルなBIM Demoを作りできたため、その内容をご紹介します。 プロダクト紹介 Link …
こんにちは！ はくです。 Link AnalyticsのSQLジョブを作って見ました。デバイスから上がってきたデータをSQLでフィールターをかけて、APIとして外部に公開できました。その内容を紹介します。 プロダクト紹介 Link Analyticsは、IoT開発者向けのAlibaba Clo…
こんにちは、ソリューションアーキテクトのななみんです！ もう少しで春ですね。 半年ほど前にひつじ先輩がIoTPlatformの記事を書いていたのですが、今回はその続編を共同執筆という形で書いていこうと思います。 Arduinoというマイコンに搭載されるメジャー…
サービスの概要 こんにちは！SAのたかはしです。 今日はAlibabaCloudが提供する「 Content Moderation 」をご紹介します。 「 Content Moderation 」は 画像、動画、テキスト から アダルトやテロ関連のコンテンツを検出する為のAPI を提供するサービスで、…
皆さんはじめまして、HRです。 今回はLineBotからAlibabaクラウドのImageSearchを使って、画像検索機能を利用してみました。 早速、実現方法について簡単に記載させていただきます。 ①まずLineBotを作成するために、下記のURLからLineDevelopersアカウントを…
SBクラウド広報の阿部（@abm）です。 日本でも感染が広まりつつある新型コロナウイルス（COVID-19）ですが、中国国内での感染状況を可視化したダッシュボード「新冠病毒疫情实时动态」がAlibaba Cloudより公開されております。 このダッシュボードはCCTVや人…
イントロ クラウド技術課の牛嶋と申します。先日、AWSからOutpostsというクラウドの環境をオンプレミスで再現するサービスがリリースされ、 その反応としてお客様から「Alibaba Cloudで似たようなサービスをリリースする予定はないのか？」と質問がありまし…
Alibaba Cloud GPU活用事例：経理会計スタートアップ「ファーストアカウンティング株式会社」 ファーストアカウンティング株式会社 共同創業者 松田顕 氏、社長室 松原正和 氏 AIの力を使って「経理、その先へ」という壮大なビジョンを実現しようとしている…
Elastic Compute Service（ECS）のGPUインスタンスは低コストに加えて、非常に安定しているため深層学習には最適な環境だと思います。 ファーストアカウンティング株式会社 https://www.fastaccounting.jp/ 概略 経理会計業務に特化したAIソリューション「Ro…
こんにちは。エンジニアの清水です。 今回、ImageSearchのデモツールを作成しましたので、共有したいと思います。 あくまで、デモツールなのでコードなどもっと綺麗に書いてよとかツッコミどころが あると思いますが、ご了承ください。 IPhoneから利用するこ…
こんにちは、Kouです。 データセットの前処理と言えば、オープンソースのPandasでDataframeとSeriesを操作するのが一般的ですが、データのサイズが大きいほど、大量のデータを読み込もうとすると、メモリ不足でエラーになる可能性、もしくは長時間待たされる…
こんにちは Kouです。 前回の記事では、Alibaba Cloud E-MapReduceを利用したApache KafkaとApache Spark Streamingの統合方法を紹介しました。今回の記事は、引き続きTwitterメッセージの例を用いて、多くのエンタープライズ企業で導入されたKafkaとElastic…
