Logservice

【Logservice連載】NYC-Taxi on Log Service

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Log Service のご紹介、およびNYC-TaxiデータをLog Serviceへ収集し可視化・分析する方法を記載します。 また、SBC Engineers' Blogの性格上、集中連載記事になります。 【…

【Logservice連載】SDKでExcelデータを収集するLogService

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している LogService のご紹介、およびSDKを使ってExcelデータをLogServiceへ収集する方法を記載します。 また、SBC Engineers' Blogの性格上、集中連載記事になります。 【Logservi…

【Logservice連載】Google Apps Script(GAS)で株価データを収集し、LogServiceの機械学習で株価予測・異常検知・監視をする

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している LogService のご紹介、および株価をLogServiceで予測・異常検知・検知する方法を記載します。 また、SBC Engineers' Blogの性格上、集中連載記事になります。 【Logservice…

【Logservice連載】SDKでTwitterデータを収集するLogService

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している LogService のご紹介、およびSDKでTwitterデータをLogServiceへ収集する方法を記載します。 また、SBC Engineers' Blogの性格上、集中連載記事になります。 【Logservice連…

【Logservice連載】Logstashでnetflowデータを収集するLogService

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している LogService のご紹介、およびLogstashでnetflowデータをLogServiceへ収集する方法を記載します。 また、SBC Engineers' Blogの性格上、集中連載記事になります。 【Logserv…

【Logservice連載】OSS、AWS S3からデータを収集するLogService

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している LogService のご紹介、およびOSS、AWS S3からLogServiceへデータを収集する方法を記載します。 また、SBC Engineers' Blogの性格上、集中連載記事になります。 【Logservic…

【Logservice連載】LogtailでCSVデータを収集するLogService

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している LogService のご紹介、およびLogtailでCSVデータをLogServiceへ収集する方法を記載します。 また、SBC Engineers' Blogの性格上、集中連載記事になります。 【Logservice連…

【Logservice連載】オフラインデータを含めた、様々なデータソースをシームレスに収集するLogServiceのご紹介

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している LogService をご紹介します。 また、SBC Engineers' Blogの性格上、集中連載記事になります。 【Logservice連載】オフラインデータを含めた、様々なデータソースをシームレ…

自宅IoTの実現へ第一歩!Raspberry Pi KitとAlibabaCloudのLogService活用

皆さんこんにちは、エンジニアのシャです。 以前弊社のエンジニアたちがLogServiceについてたくさんのブログを書きました。 過去参考記事: AlibabaCloudのLogServiceで実運用を考えてみる | Engineers' Blog - SBクラウド株式会社 実運用を想定したAlibaba …

EnterpriseZineにインタビュー記事が掲載されたので、Alibaba Cloudプロダクトの参考記事を紹介します

SBクラウド広報の阿部(@abm)です。 翔泳社が運営するWebメディア「EnterpriseZine」にSBクラウド技術部長サールのインタビューが掲載されました。 enterprisezine.jp 「世界中のリージョンを1つのアカウントで利用できる」「高いコストパフォーマンス」「…

その他ソリューション

データベース - ApsaraDB for POLARDB - 詳しくはこちら 「ApsaraDB for POLARDB」は、MySQL、PostgreSQL、Oracleと互換性のあるクラウドネイティブなリレーショナルデータベースです。 こんな方におすすめ 分散リレーショナルデータベースサービスを探して…

Container Service for Kubernetes (ACK) と Alibaba Cloud プロダクトを連携する Part 2 (Log Service, RAM, DingTalk)

こんにちは、ソリューションアーキテクトの有馬です。 前回のPart 1 に続き、Container Service for Kubernetes (ACK) から、Alibaba Cloud の各プロダクトと連携する方法についてご紹介したいと思います。 はじめに Log Service Log Serviceプロジェクトの…

LogServiceをDataVのデータソースに登録する

こんにちは、エンジニアのななみんです! みなさん、DataVのデータソースとしてLogServieが選択できることをご存知でしょうか? 2018年時点でLogServiceをDataVのデータソースとして使用することはできていたようなのですが、 連携方法が見当たらなかったた…

お客様の事象の切り分けのための参考情報 ~HARファイルを取得する~

はじめに 今回は、クラウド含めシステム環境に予期せぬ事象が発生した際のお客様ご自身の情報整理等のために役立つ方法の一参考とし、 「HARファイルの取得方法」を簡単にご紹介しようと思います。 この記事を読まれた方の参考となり、お客様の情報整理にお…

LogServiceで扱える機械学習の時系列分析を使ってみました ~単一時系列処理編~

はじめに こんにちは、エンジニアの倉田です。 2回目の投稿になります。 IoT Platform から取得した IoTのデータで予知保全を行うために機械学習をする場合があります。 基本的に予知保全等で用いるデータは時系列データである場合がほとんどであり、機械学…

新型コロナウイルス(COVID-19)の感染状況をAlibaba Cloud「Log Service」で可視化した事例

SBクラウド広報の阿部(@abm)です。 日本でも感染が広まりつつある新型コロナウイルス(COVID-19)ですが、中国国内での感染状況を可視化したダッシュボード「新冠病毒疫情实时动态」がAlibaba Cloudより公開されております。 このダッシュボードはCCTVや人…

LogServiceのETL機能を試してみた

はじめに こんにちは。エンジニアの石井です。 今回は前回に引き続きLogServiceの話題で、DataTransformation機能について試してみたので、共有させていただこうと思います。 データのアップロード等で前回のブログに記載の関数(put_logsとその周辺)を使うの…

LogServiceではじめる時系列分析(教師なしML編)

はじめに こんにちは。エンジニアの石井です。 前回から1年半ほど経ち、2回目の投稿ととなります。 今回はLogServiceで実現できる教師なしMLについて主に扱います。ほんの一部の説明のみですが、多少なりとも使い方のイメージを掴んでもらえると嬉しいです!…

Apsara StackはAWS Outpostsとどう違うのか?

イントロ クラウド技術課の牛嶋と申します。先日、AWSからOutpostsというクラウドの環境をオンプレミスで再現するサービスがリリースされ、 その反応としてお客様から「Alibaba Cloudで似たようなサービスをリリースする予定はないのか?」と質問がありまし…

Alibaba Cloudコンテナ活用事例:グローバルファッションECモール「FASBEE株式会社」

BEENOSと「FASHIONWALKER」を運営するファッション・コ・ラボの合弁会社である「FASBEE」がAlibaba Cloudを採用した理由について導入事例インタビューを実施しました。

FASBEE株式会社

Alibaba Cloudはアリババグループのノウハウをサービス化したものなので、その背景からECサイトに親和性の高いサービスを提供していると感じます。 FASBEE株式会社 https://fas-bee.com/ 概略 BEENOSグループのFASBEE株式会社は日本のアパレル商品を海外消費…

実運用を想定したAlibaba CloudのLogService構成を考えてみる~ログ検索編④~

こんにちは! エンジニアのYです。 今回は、Alibaba Cloudの【LogService】の検索編④を投稿します。 前回の記事では、LogServiceにて収集したログのダウンロードを実施しました。 今回は、ダッシュボードの作成を交えて様々なグラフ作成をご紹介していきます…

実運用を想定したAlibaba CloudのLogService構成を考えてみる~ログ検索編③~

こんにちは! エンジニアのYです。 今回は、Alibaba Cloudの【LogService】の検索編③を投稿します。 前回の記事では、Apache設定で収集したログの中からstatusやアクセス元をstatusで絞って集計し、グラフ化していきました。 本記事では、前回の記事で触れな…

実運用を想定したAlibaba CloudのLogService構成を考えてみる~ログ検索編②~

こんにちは! エンジニアのYです。 今回は、Alibaba Cloudの【LogService】の検索編②を投稿します。 前回の記事では、シンプルモードで収集したログをECSのIPアドレス、ログファイルパス、文字列で検索するところまで実施しました。 本記事では、Apache設定…

実運用を想定したAlibaba CloudのLogService構成を考えてみる~ログ検索編①~

こんにちは! エンジニアのYです。 今回は、Alibaba Cloudの【LogService】について、 検索編①を投稿します。 前回の記事では、ECS内のログをLogServiceにて収集するところまで実施しました。 本記事では、収集したログを閲覧・検索していきます。 以下、目…

実運用を想定したAlibaba CloudのLogService構成を考えてみる~ログ収集編~

こんにちは! エンジニアのYです。 今回は、Alibaba Cloudの【LogService】について、投稿します。 LogServiceとは、一言でいうとログの収集・検索・可視化ができるサービスです。 本記事では、実運用を想定したときにどのような使い方ができるのかを ログ収…

Apache FlumeとSpark Streamingの統合について

まいど、Kouです。 Web Serverのアクセスログをリアルタイムストリーミング分析するというのはよくある利用シーンだと想定されます。今回の記事は、Apache Flumeと呼ばれるログ収集基盤とE-MapReduceクラスターのSpark Streaming分析基盤の統合手法について…

E-MapReduceでHiveの動的パーティションについて

こんにちは、Kouです E-MapReduceを利用し、HiveQLでのSELECT文の実行は、テーブルに含まれる全データをスキャンします。WHERE句を指定し、特定の条件に合致するデータを抽出する場合、大量のデータを読み込んだにも関わらず、ごく一部のデータしか利用しな…

MaxComputeでJSONデータの扱い方

こんにちは、Kouです。 まだご存じの方が少ないかと思いますが、DataWorks 2.0には、JSONデータへのサポートが強化され、JSONドキュメントの処理及び分析が楽となります。IoTやWebアプリケーションなど、さまざまなデータソースから出力するログの形式がJSON…

Log Serviceのメール通知機能で、RAMアカウントがパスワードクラッキングされた時に検知・通知してみる

皆さん、こんにちは。ソリューションアーキテクトのQ(@joe_qiubinbin)です。 先日、Log Serviceのメール通知機能がリリースされました。Log Serviceでアラームを設定して、ユーザーが設定した条件で関心のあるイベントが発生した時にはそのイベントを検知し…

TerraformがFunctionComputeをサポートしました

こんにちは。ソリューションアーキテクト 森 (@mosuke5) です。 私の大好きなTerraformが、Alibaba Cloud ProviderがイベントドリブンコンピューティングのFunction Computeにも対応していたのでさくっと試してみました。ご報告です。 なおこちらのブログの…

Alibaba Cloudのログ収集機能を使ってみた

初めまして、SBCloudのtetsuです。初めてのテックブログの投稿ですので、よろしくお願いいたします。 突然ですが、日々システムを運用・保守している(?)皆さんは、クラウド環境のログをどのように確認しているのでしょうか。おそらく個々のサーバーにログ…