Engineers' Blog
こんにちは！ エンジニアのYです。 今回は、Alibaba Cloudにてミドルウェアの導入検証を実施します。 検証するミドルウェアは【JP1/AJS3（Version 12）】です！ JP1/AJS3の詳細な説明については、割愛しますが、 今回の検証では、カレンダ定義/スケジュール…
まいど、SBCloud エンジニアのKou(寇)です。 最新のディープラーニング モデルのトレーニングには、多くの場合、GPU によって提供される大量の計算が必要です。1 つの GPU から多くの GPU へのスケーリングにより、トレーニングと研究のプロセスを大幅に短縮…
こんにちは、Kouです。 データセットの前処理と言えば、オープンソースのPandasでDataframeとSeriesを操作するのが一般的ですが、データのサイズが大きいほど、大量のデータを読み込もうとすると、メモリ不足でエラーになる可能性、もしくは長時間待たされる…
こんにちは！ エンジニアのYです。 今回は、Alibaba Cloudの【LogService】の検索編④を投稿します。 前回の記事では、LogServiceにて収集したログのダウンロードを実施しました。 今回は、ダッシュボードの作成を交えて様々なグラフ作成をご紹介していきます…
こんにちは！ エンジニアのYです。 今回は、Alibaba Cloudの【LogService】の検索編③を投稿します。 前回の記事では、Apache設定で収集したログの中からstatusやアクセス元をstatusで絞って集計し、グラフ化していきました。 本記事では、前回の記事で触れな…
こんにちは。 ソリューションアーキテクトの松田(@MatYoshr)です。 今回も前回に続きAlibaba CloudのCloud Enterprise Network (CEN) に関する記事です。 前回はCENの基本的な用語や概念の説明を行いましたが、 今回は実際の構成例やCENのオススメポイントな…
こんにちは！ エンジニアのYです。 今回は、Alibaba Cloudの【LogService】の検索編②を投稿します。 前回の記事では、シンプルモードで収集したログをECSのIPアドレス、ログファイルパス、文字列で検索するところまで実施しました。 本記事では、Apache設定…
こんにちは Kouです。 前回の記事では、Alibaba Cloud E-MapReduceを利用したApache KafkaとApache Spark Streamingの統合方法を紹介しました。今回の記事は、引き続きTwitterメッセージの例を用いて、多くのエンタープライズ企業で導入されたKafkaとElastic…
こんにちは。 ソリューションアーキテクトの松田(@MatYoshr)です。 今回はAlibaba Cloud のエンタープライズ向けネットワークサービス Cloud Enterprise Network (CEN) に関する記事を書いてみました。 CENはご存知でしょうか❓結構特徴的なのですが、わかり…
こんにちは Kouです。 Webアクセス解析や、ログのリアルタイムモニタリングと不正検知、ソーシャルメディア分析などの時に、オープンソースの分散ストリーミングプラットフォームと呼ばれるApache KafkaとSparkにストリームデータを処理するSpark Streaming…
こんにちは。ソリューションアーキテクトの菅です。 Alibaba Cloudは、2010年のサービス開始から、地球上のデータセンターにサーバ拠点を着々と増やしています。2019年7月時点では、19の地域（リージョン）に、56の拠点（アベイラビリティーゾーン）を運営し…
こんにちは！ エンジニアのYです。 今回は、Alibaba Cloudの【LogService】について、 検索編①を投稿します。 前回の記事では、ECS内のログをLogServiceにて収集するところまで実施しました。 本記事では、収集したログを閲覧・検索していきます。 以下、目…
こんにちは、The Yです。 この記事では、Alibaba Cloud が提供している ECS (Elastic Compute Service) の Windows Server の言語変更方法（日本語化手順）を紹介したいと思います。 初めに 以前、Alibaba Cloud 日本サイトでは、日本語版のWindows Serverを…
こんにちは！ エンジニアのYです。 今回は、Alibaba Cloudの【LogService】について、投稿します。 LogServiceとは、一言でいうとログの収集・検索・可視化ができるサービスです。 本記事では、実運用を想定したときにどのような使い方ができるのかを ログ収…
はじめに こんにちは、エンジニアの佐藤です。 APIを用いてAlibaba Cloudリソースを自動構築するシリーズ第6回目となります。 前回の第5回までで、予定していた構成図の全コンポーネントをAPIで作成することが出来ました。 今回は、RAM（Resource Access Man…
こんにちは。ソリューションアーキテクトの菅です。 SBクラウドに参加して半年以上が経過し、いい加減爪痕を残せねばと思い、テックブログ初投稿です。つたない文章ですがお付き合いいただけると幸いです。 今回はAlibaba Cloudのプロダクトの中でも、エンタ…
こんにちは。 ソリューションアーキテクトの松田(@MatYoshr)です。 今回も Container Service for Kubernetes に関する記事をお届け致します 6月は KubeCon China 2019 もありましたし、定期リリースのKubernetes 1.15 もリリース（2019年6月19日（米国時間…
こんにちは。ソリューションアーキテクトのひつじです。 IoTライフみなさん楽しんでますか！？ 今回はAlibaba CloudのIoT Platformを紹介していきます。 IoTといえば、センサー（マイコン）から情報を収集して色々やっていくイメージですが、本記事では入門…
はじめに こんにちは、エンジニアの佐藤です。 APIを用いてAlibaba Cloudリソースを自動構築するシリーズ第5回目となります。 前回の記事では、Server Load Balancerを作成し、RDS経由でECSサーバにログインしました。 今回はRDBMSサービスであるApsara DB f…
はじめに こんにちは、エンジニアの佐藤です。 APIを用いてAlibaba Cloudリソースを自動構築するシリーズ第4回目となります。 前回の記事では、Auto Scalingを作成し、ECSサーバを起動しました。 今回は負荷分散装置であるServer Load Balancer（SLB）を作成…
こんにちは。 ソリューションアーキテクト松田(@MatYoshr)です。 昨年、多くのパブリッククラウドにてKubernetesサービスが正式に提供開始されたこともあり、Kubernetesというキーワードを聞くことがかなり多くなってきたように感じます 下記のGoogle Trends…
はじめに こんにちは、エンジニアの佐藤です。 APIを用いてAlibaba Cloudリソースを自動構築するシリーズ第3回目となります。 前回の記事では、 シリーズを通して作成するAlibaba Cloud環境の構成図を紹介し、さらに各コンポーネントの土台となるVPCおよびVS…
こんにちは！SBクラウドSAのよしい(@yoshiichannel)です。 長かったゴールデンウィークが終わり、皆さんお仕事復帰されてお疲れかと思いますが、いかがお過ごしでしょうか。 今回は、先月新たにリリースされたApsaraDB for MongoDBを触ってみたので、簡単に…
はじめに こんにちは、エンジニアの佐藤です。 APIを用いてAlibaba Cloudリソースを自動構築するシリーズ第2回目となります。 前回の記事では、Alibaba Java SDKの開発環境を整備する手順を紹介しました。 今回からは、本格的にAPIを用いてAlibaba Cloud上に…
はじめに はじめまして、エンジニアの佐藤です。 突然ですが、みなさんはどのようにAlibaba Cloudリソースを構築・管理していますでしょうか？ おそらく、ほとんどの方がコンソール画面から操作を行っていると思います。 コンソール画面からのGUI操作は、操…
こんにちは。 ソリューションアーキテクト松田(@MatYoshr)です。 本日はAlibaba Cloud のロードバランサーサービスであるServer Load Balancer（SLB）に関する、ある誤解を解いていきたいと思います。 Alibaba Cloudのロードバランサーはインスタンスタイプ…
はじめてまして。 1月入社のソリューションアーキテクト松田(@MatYoshr)です。 半年ほど前に本テックブログでも紹介されておりますが、 この半年の間にアップデート情報もありますので改めてAlibaba Cloud NASをご紹介させて頂きます Service Update ⤴️ その…
皆さん、こんにちは。Alibaba Cloud ソリューションアーキテクトのQ(@joe_qiubinbin)です。 ChatOpsでECSインスタンスの起動や停止をすこし楽にしたいので、SlackからSlash CommandsでECSインスタンスを操作できるようにしてみました。
まいど、Kouです。 Web Serverのアクセスログをリアルタイムストリーミング分析するというのはよくある利用シーンだと想定されます。今回の記事は、Apache Flumeと呼ばれるログ収集基盤とE-MapReduceクラスターのSpark Streaming分析基盤の統合手法について…
こんにちは、Kouです。 既存のSQLテーブルに蓄積された情報をHadoopにインポートするため、Sqoopと呼ばれるツールがよく使われています。今回の記事は、E-MapReduceのHadoopクラスターとRDSまたはオンプレミスDBの間のデータインポートについて、ご説明させ…
こんにちは、Kouです E-MapReduceを利用し、HiveQLでのSELECT文の実行は、テーブルに含まれる全データをスキャンします。WHERE句を指定し、特定の条件に合致するデータを抽出する場合、大量のデータを読み込んだにも関わらず、ごく一部のデータしか利用しな…
皆さんこんにちは。 去年から花粉症が発症し、憂鬱な時期を過ごしているSHUです。 今回は番外編となります。 たまたま業務でGoogle Apps Scriptを勉強する機会があったため、 社内でのGAS活用方法をご紹介したいと思います。 なお、Alibaba Cloudは関係しな…
こんにちは、Kouです。 まだご存じの方が少ないかと思いますが、DataWorks 2.0には、JSONデータへのサポートが強化され、JSONドキュメントの処理及び分析が楽となります。IoTやWebアプリケーションなど、さまざまなデータソースから出力するログの形式がJSON…
こんにちは、Kouです。 みなさま、先日E-MapReduceのMetaServiceをご紹介致しましたが、今回引き続きMetaServiceを利用しつつ、E-MapReduceでMapReduceジョブの実行方法をご紹介させて頂きたいと思います。
CJNANです。 最近、主にDeep LearningをベースとしたAI技術が理論研究フェーズからビジネス業界への展開スピードがどんどん早くなるのを感じています。NAS（Neural Networks Search）のようなハイパパラメタの最適化を商用化したGCPのAutoMLやENAS（Effect N…
皆さん、こんにちは。ソリューションアーキテクトのQ(@joe_qiubinbin)です。 今まで、下記運用小ネタをご紹介させていただきました。 ① [運用小ネタ] RAMとECSのTag機能でECSインスタンスを保護する ② [運用子ネタ]「もう勘弁してよ、このECSインスタンを作…
Hello,everyone, はくです。 AnalyticDBは、Alibabaによって独自に開発され、超大規模かつ中核事業によって検証されたPBレベルのリアルタイムデータウェアハウスです。2012年に初めてグループで適用されて以来、Eコマース、広告、娯楽など数多くのビジネスの…
こんにちは。技術部の吉村です。 今日のテーマは「中国本土向けWEBサイトを作る時に香港リージョンでWEBサイトをホスティングすると良い」という話です。 これは地理的な距離が近いこともありますが、Alibaba Cloud の強みであるバックボーンネットワークが…
こんにちは、Kouです。 今回の記事はアリババクラウドのビッグデータ処理サービスE-MapReduceについて、触れさせていただきたいと思います。 E-MapReduceは2.1.0 versionから、MetaServiceと呼ばれる機能をサポートするようになりましたが、業務上まだ利用さ…
CJNANです。 最近、アリババクラウドで、大規模科学技術計算処理するためのライブラリMARSをGithubで公開しました。ここで、MARSについて皆さんにご紹介します。 本記事では、データ処理に関連する内容であり、クラウド製品のご紹介はございません。
皆さんはじめてまして。 昨年7月にSBクラウドへジョインしたSHUです。 人生初のテックブログ投稿です。 今回はネットワークプロダクトのCEN（Cloud Enterprise Network）とVPN-Gatewayを組み合わせた構成をご紹介します。 日々提案活動をしている中で、有り…
皆さん、こんにちは。ソリューションアーキテクトのQ(@joe_qiubinbin)です。 先日、Log Serviceのメール通知機能がリリースされました。Log Serviceでアラームを設定して、ユーザーが設定した条件で関心のあるイベントが発生した時にはそのイベントを検知し…
こんにちはSBクラウドLeoです。個人的には本年初投稿になります。今年もよろしくお願いいたします。 さてさて、みなさんImage Search（イメージサーチ）を使っていらっしゃいますか？もしかすると「月50万はちょっと高額…」と思って手を出していない方が多か…
こんにちちは。ソリューションアーキテクトの森（@mosuke5）です。 目まぐるしく進化、変化するクラウド業界のキャッチアップ大変ですよね。 みなさんに少しでもわかりやすく、簡単に理解できるように日々努めているわけですが、今日はAlibaba Cloudもオンラ…
こんにちは。森（@mosuke5）です。 フォルダを漁っていたら過去のまとめがでてきたので、せっかくなので公開してみました。 ECSはネットワーク帯域（EIP帯域）をオンラインで変更できます（※Pay As You Goかつrunningまたはstopステータス）。この機能の操作…
Hello,everyone, はくです。 データマイニングの初心者です。 データマイニングの知識不足で痛感があったため、データマイニングの学習をはじめました。 始まったばかりで、まだ体系的ご紹介できませんが、気になった点をメモ程度で共有します。 今回は分類…
あけましておめでとうございます。森(@mosuke5)です。 今年もたくさんの情報を発信していくことがんばりますのでよろしくおねがいします。 新年1発目は、ゆるい話題ですが、Alibaba CloudにはCloudShellについてです。 Alibaba CloudにはCloudShellと呼ばれ…
皆さん、新年明けましておめでとうございます。CJNANです。 年末年始にノンビリしながら、懐旧の気持ちになって、昔集めたNIPS論文を巡ったりしていた中で、偶然DAWNBenchコンペの最新ランキングを見たら、なんとこれを発見！ Submitは確かに2018年12月25日…
CJNANです。 この間、お客様から「深層学習でレコメンドエンジンできるの」って聞かれましたので、ちょうど研究室時代にやってたWide&Deep Learningと言う推薦アルゴリズムを軽く紹介します。 NOTICE：本編は機械学習やTensorFlowの紹介であり、クラウド技術…
こんにちは、SBクラウドのKSです。 少し前にpiyohiko先輩のブログで紹介のあった、Marketplaceについて簡単にご紹介します。 まだまだ日本未対応の部分はありますが、よろしければご一読ください。
