ビッグデータ

KafkaとSpark Streamingの統合について

こんにちは Kouです。 Webアクセス解析や、ログのリアルタイムモニタリングと不正検知、ソーシャルメディア分析などの時に、オープンソースの分散ストリーミングプラットフォームと呼ばれるApache KafkaとSparkにストリームデータを処理するSpark Streaming…

実運用を想定したAlibaba CloudのLogService構成を考えてみる~ログ収集編~

こんにちは! エンジニアのYです。 今回は、Alibaba Cloudの【LogService】について、投稿します。 LogServiceとは、一言でいうとログの収集・検索・可視化ができるサービスです。 本記事では、実運用を想定したときにどのような使い方ができるのかを ログ収…

DSInnovation株式会社

「DataV」を活用することで、簡単にデータを可視化できるようになり、汎用性も高まりました。 DSInnovation株式会社 http://dsinnovation.co.jp/ 概略 DSInnovationではインバウンド事業のビッグデータ解析に「DataV」を活用し、マーケティング基盤としてAli…

Apache FlumeとSpark Streamingの統合について

まいど、Kouです。 Web Serverのアクセスログをリアルタイムストリーミング分析するというのはよくある利用シーンだと想定されます。今回の記事は、Apache Flumeと呼ばれるログ収集基盤とE-MapReduceクラスターのSpark Streaming分析基盤の統合手法について…

AnalyticDBのアーキテクチャ紹介

Hello,everyone, はくです。 AnalyticDBは、Alibabaによって独自に開発され、超大規模かつ中核事業によって検証されたPBレベルのリアルタイムデータウェアハウスです。2012年に初めてグループで適用されて以来、Eコマース、広告、娯楽など数多くのビジネスの…

E-MapReduceのMetaServiceについて

こんにちは、Kouです。 今回の記事はアリババクラウドのビッグデータ処理サービスE-MapReduceについて、触れさせていただきたいと思います。 E-MapReduceは2.1.0 versionから、MetaServiceと呼ばれる機能をサポートするようになりましたが、業務上まだ利用さ…

MARS – 大規模科学技術計算ライブラリ

CJNANです。 最近、アリババクラウドで、大規模科学技術計算処理するためのライブラリMARSをGithubで公開しました。ここで、MARSについて皆さんにご紹介します。 本記事では、データ処理に関連する内容であり、クラウド製品のご紹介はございません。

QuickBI紹介及びOLAPアーキテクチャ説明

CJNANです。 最近データ分析の案件を対応していまして、ビックデータ基盤のMaxComputeや機械学習関連のPAI、GPUマシン、可視化ツールのDataVなどに関するノウハウをブログして共有しました。ご興味ある方はテックブログから製品名(例:PAI)を検索して、ご…

DataV 4.0のアップグレード内容について

肺炎も治って、通常運転にもどりつつある森(@mosuke5)です。 しかし、体力が凄まじく落ちていて週5日働くのが精一杯です(笑) 今日は、少し前に行われたDataV 4.0のアップグレード内容について、めぼしいところをピックアップしてお伝えいたします。 本内…

PAIでプログラミング不要の機械学習を試す!

こんにちは、ソリューションアーキテクトのKouです。最近PAIでの深層学習などの投稿が増えてきました、ご覧頂いていますでしょうか。それとは別に、伝統的な機械学習の場合ではどうなりますでしょうか。今回の記事は伝統的な機械学習に焦点を絞り、PAIでの機…

インターンシップ業務集大成-PAIを用いた音声認識

皆さんこんにちは。この度、インターンシップ生としてSBクラウドに配属されたnakaneです。今回は、私が業務体験期間の間に取り組んできた“PAIを用いた音声認識”についてブログを投稿させていただきます。 今回、このブログで扱うPAIについてやPAIを用いた画…

Tableau ServerをAlibaba Cloudで構築する

こんにちは!SBクラウドソリューションアーキテクトLeoです。最近ビッグデータに関する投稿が増えてきました。ご覧いただいていますでしょうか?MaxComputeやPAIと呼ばれるプロダクトがあり、分析面でお役立ていただけるものがすでにリリースされています。 …

Alibaba Cloud「Image Search」でオリジナル画像検索エンジンを作ろう!

こんにちは!SBクラウドソリューションアーキテクトLeoです。ついにAI/人工知能に関するプロダクトがアリババクラウドにてリリースされました。 その名も「Image Search(イメージサーチ)」です!簡単に言えばタイトルの通り、オリジナルな画像検索を皆さん…

データサイエンスコンペ TianChiに挑む!(PyODPSでデータ処理編)

こんにちは。ソリューションアーキテクトのkouです。以前TianChiの紹介編と実践編をご紹介させて頂きましたが、今回TianChiシリーズの最終編(データ処理)に関して、まとめていきたいと思います。 過去の記事は以下の通りです。 https://techblog.sbcloud.c…

データサイエンスコンペ TianChiに挑む!(実践編)

こんにちは。ソリューションアーキテクトのkouです。前回TianChiの紹介編の話をさせて頂きましたが、今回は実際のコンぺを交えながら、データのダウンロード・前処理・訓練・予測・提出までの一連の流れをご紹介させて頂きたいと思います。

デブサミ2018夏にて、データ分析基盤移行案件についてお話しました

7月はイベント盛りだくさんで、よく外にでている森(@mosuke5) です。 今日は、デブサミ2018夏にてデータ分析基盤の移行の案件についてご紹介させていただいたのでご報告です。 とはいっても、私は今回は盛り上げ役の存在で、メインは実際の案件を担当してい…

Alibaba CloudでHPCを実現する!(クラスタ構築編)

こんにちは、SBクラウドのKSです。 皆さんはHPCという言葉をご存知でしょうか。 HPCは「High-Performance Computing 」の略で、科学技術計算などに使うスーパーコンピューターのことです。 科学技術の研究に使われる計算や保険数理の計算などの複雑な計算処…

Alibaba CloudのダッシュボードサービスDataV 超入門

こんにちはソリューションアーキテクト 森(@mosuke5)です。 ちまたで話題?のAlibaba Cloudのダッシュボードサービス DataVの超入門ということで、簡単にできることや使い方を説明します。