Engineers' Blog

Security Center の Baseline Check を利用した中国サイバーセキュリティ法のサイバーセキュリティ等級保護2.0対策

こんにちは。 ソリューションアーキテクトの吉村です。 中国でビジネスを行っている方にとって、中国サイバーセキュリティ法は情報が少なく困っている方が多いと思います。 今日はそのような方にとって役立ちそうなプロダクトをご紹介します。 なお、Securit…

CENを利用した日中間メールプロキシについて

こんにちは。エンジニアの鈴木です。 今回は、中国国内からのメール送信をCENを利用し、東京リージョン経由で配送する記事を書かせていただきます。 ※CENについては以下の記事をご確認ください。 www.sbcloud.co.jp www.sbcloud.co.jp ■検証 ~上海リージョ…

SSL-VPNを使用してクライアントPCからECSへ接続してみた

はじめに 初めまして、最近Alibaba Cloudを利用し始めた駆け出しエンジニアの高橋です。 最近とある検証でSSL-VPNを使用してクライアントPCからECSへの接続を行ってみましたところ、非常に簡単に設定ができましたので、本記事ではその方法を以下の流れでご紹…

AlibabaCloudでのミドルウェア導入検証【JP1/AJS3編②】~動作検証~

こんにちは! エンジニアのYです。 今回は、AlibabaCloudでのミドルウェア導入検証【JP1/AJS3編②】です。 前回の記事では、JP1-AJS3でのジョブの実装内容を検討しました。 本記事では、前回の記事で検討した内容について、AlibabaCloudで正常に動作するのか…

Alibaba Cloud のオブジェクトストレージでクロスリージョンレプリケーションを使おう❗️

こんにちは。 ソリューションアーキテクトの松田(@MatYoshr)です。 Alibaba Cloud の Object Storage Service(OSS)で Cross Region Replication が部分的に利用出来るようになったのはお気づきでしょうか まだ、色々と制約はあるのですがまずは機能のご紹…

AlibabaCloudでのミドルウェア導入検証【JP1/AJS3編①】~実装内容の検討~

こんにちは! エンジニアのYです。 今回は、Alibaba Cloudにてミドルウェアの導入検証を実施します。 検証するミドルウェアは【JP1/AJS3(Version 12)】です! JP1/AJS3の詳細な説明については、割愛しますが、 今回の検証では、カレンダ定義/スケジュール…

HorovodでTensorflowの分散トレーニングについて

まいど、SBCloud エンジニアのKou(寇)です。 最新のディープラーニング モデルのトレーニングには、多くの場合、GPU によって提供される大量の計算が必要です。1 つの GPU から多くの GPU へのスケーリングにより、トレーニングと研究のプロセスを大幅に短縮…

E-Mapreduceでデータの前処理を実践

こんにちは、Kouです。 データセットの前処理と言えば、オープンソースのPandasでDataframeとSeriesを操作するのが一般的ですが、データのサイズが大きいほど、大量のデータを読み込もうとすると、メモリ不足でエラーになる可能性、もしくは長時間待たされる…

実運用を想定したAlibaba CloudのLogService構成を考えてみる~ログ検索編④~

こんにちは! エンジニアのYです。 今回は、Alibaba Cloudの【LogService】の検索編④を投稿します。 前回の記事では、LogServiceにて収集したログのダウンロードを実施しました。 今回は、ダッシュボードの作成を交えて様々なグラフ作成をご紹介していきます…

実運用を想定したAlibaba CloudのLogService構成を考えてみる~ログ検索編③~

こんにちは! エンジニアのYです。 今回は、Alibaba Cloudの【LogService】の検索編③を投稿します。 前回の記事では、Apache設定で収集したログの中からstatusやアクセス元をstatusで絞って集計し、グラフ化していきました。 本記事では、前回の記事で触れな…

《後編》CENでつなげる↔️クラウドネットワーク🕸

こんにちは。 ソリューションアーキテクトの松田(@MatYoshr)です。 今回も前回に続きAlibaba CloudのCloud Enterprise Network (CEN) に関する記事です。 前回はCENの基本的な用語や概念の説明を行いましたが、 今回は実際の構成例やCENのオススメポイントな…

実運用を想定したAlibaba CloudのLogService構成を考えてみる~ログ検索編②~

こんにちは! エンジニアのYです。 今回は、Alibaba Cloudの【LogService】の検索編②を投稿します。 前回の記事では、シンプルモードで収集したログをECSのIPアドレス、ログファイルパス、文字列で検索するところまで実施しました。 本記事では、Apache設定…

E-MapReduce(Kafka)とElasticSearchの連携を試しました。

こんにちは Kouです。 前回の記事では、Alibaba Cloud E-MapReduceを利用したApache KafkaとApache Spark Streamingの統合方法を紹介しました。今回の記事は、引き続きTwitterメッセージの例を用いて、多くのエンタープライズ企業で導入されたKafkaとElastic…

《前編》CENでつなげる↔️クラウドネットワーク🕸

こんにちは。 ソリューションアーキテクトの松田(@MatYoshr)です。 今回はAlibaba Cloud のエンタープライズ向けネットワークサービス Cloud Enterprise Network (CEN) に関する記事を書いてみました。 CENはご存知でしょうか❓結構特徴的なのですが、わかり…

KafkaとSpark Streamingの統合について

こんにちは Kouです。 Webアクセス解析や、ログのリアルタイムモニタリングと不正検知、ソーシャルメディア分析などの時に、オープンソースの分散ストリーミングプラットフォームと呼ばれるApache KafkaとSparkにストリームデータを処理するSpark Streaming…

インパクトのあるダッシュボードを作るならDataV #2 3Dマップ編

こんにちは。ソリューションアーキテクトの菅です。 Alibaba Cloudは、2010年のサービス開始から、地球上のデータセンターにサーバ拠点を着々と増やしています。2019年7月時点では、19の地域(リージョン)に、56の拠点(アベイラビリティーゾーン)を運営し…

実運用を想定したAlibaba CloudのLogService構成を考えてみる~ログ検索編①~

こんにちは! エンジニアのYです。 今回は、Alibaba Cloudの【LogService】について、 検索編①を投稿します。 前回の記事では、ECS内のログをLogServiceにて収集するところまで実施しました。 本記事では、収集したログを閲覧・検索していきます。 以下、目…

Alibaba Cloud ECS の Windows Server の 言語変更方法(日本語化手順)

こんにちは、The Yです。 この記事では、Alibaba Cloud が提供している ECS (Elastic Compute Service) の Windows Server の言語変更方法(日本語化手順)を紹介したいと思います。 初めに 以前、Alibaba Cloud 日本サイトでは、日本語版のWindows Serverを…

実運用を想定したAlibaba CloudのLogService構成を考えてみる~ログ収集編~

こんにちは! エンジニアのYです。 今回は、Alibaba Cloudの【LogService】について、投稿します。 LogServiceとは、一言でいうとログの収集・検索・可視化ができるサービスです。 本記事では、実運用を想定したときにどのような使い方ができるのかを ログ収…

APIを用いてAlibaba Cloudリソースを自動構築する⑥ - RAM編

はじめに こんにちは、エンジニアの佐藤です。 APIを用いてAlibaba Cloudリソースを自動構築するシリーズ第6回目となります。 前回の第5回までで、予定していた構成図の全コンポーネントをAPIで作成することが出来ました。 今回は、RAM(Resource Access Man…

インパクトのあるダッシュボードを作るならDataV #1 紹介編

こんにちは。ソリューションアーキテクトの菅です。 SBクラウドに参加して半年以上が経過し、いい加減爪痕を残せねばと思い、テックブログ初投稿です。つたない文章ですがお付き合いいただけると幸いです。 今回はAlibaba Cloudのプロダクトの中でも、エンタ…

Container Service for Kubernetes (ACK)をアップグレードしよう❗️

こんにちは。 ソリューションアーキテクトの松田(@MatYoshr)です。 今回も Container Service for Kubernetes に関する記事をお届け致します 6月は KubeCon China 2019 もありましたし、定期リリースのKubernetes 1.15 もリリース(2019年6月19日(米国時間…

Alibaba Cloud IoT Platform入門 MQTT通信してみた

こんにちは。ソリューションアーキテクトのひつじです。 IoTライフみなさん楽しんでますか!? 今回はAlibaba CloudのIoT Platformを紹介していきます。 IoTといえば、センサー(マイコン)から情報を収集して色々やっていくイメージですが、本記事では入門…

APIを用いてAlibaba Cloudリソースを自動構築する⑤ - RDS編

はじめに こんにちは、エンジニアの佐藤です。 APIを用いてAlibaba Cloudリソースを自動構築するシリーズ第5回目となります。 前回の記事では、Server Load Balancerを作成し、RDS経由でECSサーバにログインしました。 今回はRDBMSサービスであるApsara DB f…

APIを用いてAlibaba Cloudリソースを自動構築する④ - SLB編

はじめに こんにちは、エンジニアの佐藤です。 APIを用いてAlibaba Cloudリソースを自動構築するシリーズ第4回目となります。 前回の記事では、Auto Scalingを作成し、ECSサーバを起動しました。 今回は負荷分散装置であるServer Load Balancer(SLB)を作成…

Rancher🐮でKubernetes (ACK) を管理しよう❗️ - 検証編 -

こんにちは。 ソリューションアーキテクト松田(@MatYoshr)です。 昨年、多くのパブリッククラウドにてKubernetesサービスが正式に提供開始されたこともあり、Kubernetesというキーワードを聞くことがかなり多くなってきたように感じます 下記のGoogle Trends…

APIを用いてAlibaba Cloudリソースを自動構築する③ - Auto Scaling編

はじめに こんにちは、エンジニアの佐藤です。 APIを用いてAlibaba Cloudリソースを自動構築するシリーズ第3回目となります。 前回の記事では、 シリーズを通して作成するAlibaba Cloud環境の構成図を紹介し、さらに各コンポーネントの土台となるVPCおよびVS…

【初めてのNoSQL】 ApsaraDB for MongoDBを触ってみた

こんにちは!SBクラウドSAのよしい(@yoshiichannel)です。 長かったゴールデンウィークが終わり、皆さんお仕事復帰されてお疲れかと思いますが、いかがお過ごしでしょうか。 今回は、先月新たにリリースされたApsaraDB for MongoDBを触ってみたので、簡単に…

APIを用いてAlibaba Cloudリソースを自動構築する② - VPC編

はじめに こんにちは、エンジニアの佐藤です。 APIを用いてAlibaba Cloudリソースを自動構築するシリーズ第2回目となります。 前回の記事では、Alibaba Java SDKの開発環境を整備する手順を紹介しました。 今回からは、本格的にAPIを用いてAlibaba Cloud上に…

APIを用いてAlibaba Cloudリソースを自動構築する① - 環境準備編

はじめに はじめまして、エンジニアの佐藤です。 突然ですが、みなさんはどのようにAlibaba Cloudリソースを構築・管理していますでしょうか? おそらく、ほとんどの方がコンソール画面から操作を行っていると思います。 コンソール画面からのGUI操作は、操…

知っていました ? Server Load Balancer 実はスケールするんです

こんにちは。 ソリューションアーキテクト松田(@MatYoshr)です。 本日はAlibaba Cloud のロードバランサーサービスであるServer Load Balancer(SLB)に関する、ある誤解を解いていきたいと思います。 Alibaba Cloudのロードバランサーはインスタンスタイプ…

Alibaba Cloud NAS のご紹介(サービスアップデート)

はじめてまして。 1月入社のソリューションアーキテクト松田(@MatYoshr)です。 半年ほど前に本テックブログでも紹介されておりますが、 この半年の間にアップデート情報もありますので改めてAlibaba Cloud NASをご紹介させて頂きます Service Update ⤴️ その…

Slackを利用して、ChatOps on Alibaba Cloudをやってみました !

皆さん、こんにちは。Alibaba Cloud ソリューションアーキテクトのQ(@joe_qiubinbin)です。 ChatOpsでECSインスタンスの起動や停止をすこし楽にしたいので、SlackからSlash CommandsでECSインスタンスを操作できるようにしてみました。

Apache FlumeとSpark Streamingの統合について

まいど、Kouです。 Web Serverのアクセスログをリアルタイムストリーミング分析するというのはよくある利用シーンだと想定されます。今回の記事は、Apache Flumeと呼ばれるログ収集基盤とE-MapReduceクラスターのSpark Streaming分析基盤の統合手法について…

Sqoopを用いてE-MapReduceにデータを取り込む

こんにちは、Kouです。 既存のSQLテーブルに蓄積された情報をHadoopにインポートするため、Sqoopと呼ばれるツールがよく使われています。今回の記事は、E-MapReduceのHadoopクラスターとRDSまたはオンプレミスDBの間のデータインポートについて、ご説明させ…

E-MapReduceでHiveの動的パーティションについて

こんにちは、Kouです E-MapReduceを利用し、HiveQLでのSELECT文の実行は、テーブルに含まれる全データをスキャンします。WHERE句を指定し、特定の条件に合致するデータを抽出する場合、大量のデータを読み込んだにも関わらず、ごく一部のデータしか利用しな…

【番外編】Google Apps Script(GAS)のAPIでスプレッドシートにデータを書き込む

皆さんこんにちは。 去年から花粉症が発症し、憂鬱な時期を過ごしているSHUです。 今回は番外編となります。 たまたま業務でGoogle Apps Scriptを勉強する機会があったため、 社内でのGAS活用方法をご紹介したいと思います。 なお、Alibaba Cloudは関係しな…

MaxComputeでJSONデータの扱い方

こんにちは、Kouです。 まだご存じの方が少ないかと思いますが、DataWorks 2.0には、JSONデータへのサポートが強化され、JSONドキュメントの処理及び分析が楽となります。IoTやWebアプリケーションなど、さまざまなデータソースから出力するログの形式がJSON…

E-MapReduceでMapReduceジョブを実行する

こんにちは、Kouです。 みなさま、先日E-MapReduceのMetaServiceをご紹介致しましたが、今回引き続きMetaServiceを利用しつつ、E-MapReduceでMapReduceジョブの実行方法をご紹介させて頂きたいと思います。

Kubeflow on Alibaba Cloud 第一回~JupyterHub環境を立ち上げる

CJNANです。 最近、主にDeep LearningをベースとしたAI技術が理論研究フェーズからビジネス業界への展開スピードがどんどん早くなるのを感じています。NAS(Neural Networks Search)のようなハイパパラメタの最適化を商用化したGCPのAutoMLやENAS(Effect N…

RAMのパスワード再入力回数を設定して、アカウントロックを試してみる

皆さん、こんにちは。ソリューションアーキテクトのQ(@joe_qiubinbin)です。 今まで、下記運用小ネタをご紹介させていただきました。 ① [運用小ネタ] RAMとECSのTag機能でECSインスタンスを保護する ② [運用子ネタ]「もう勘弁してよ、このECSインスタンを作…

AnalyticDBのアーキテクチャ紹介

Hello,everyone, はくです。 AnalyticDBは、Alibabaによって独自に開発され、超大規模かつ中核事業によって検証されたPBレベルのリアルタイムデータウェアハウスです。2012年に初めてグループで適用されて以来、Eコマース、広告、娯楽など数多くのビジネスの…

Alibaba Cloudの香港リージョンと中国本土の接続性の話

こんにちは。技術部の吉村です。 今日のテーマは「中国本土向けWEBサイトを作る時に香港リージョンでWEBサイトをホスティングすると良い」という話です。 これは地理的な距離が近いこともありますが、Alibaba Cloud の強みであるバックボーンネットワークが…

E-MapReduceのMetaServiceについて

こんにちは、Kouです。 今回の記事はアリババクラウドのビッグデータ処理サービスE-MapReduceについて、触れさせていただきたいと思います。 E-MapReduceは2.1.0 versionから、MetaServiceと呼ばれる機能をサポートするようになりましたが、業務上まだ利用さ…

MARS – 大規模科学技術計算ライブラリ

CJNANです。 最近、アリババクラウドで、大規模科学技術計算処理するためのライブラリMARSをGithubで公開しました。ここで、MARSについて皆さんにご紹介します。 本記事では、データ処理に関連する内容であり、クラウド製品のご紹介はございません。

CENとVPN-Gatewayを組み合わせて日中間のグローバルLAN環境を作ってみる!

皆さんはじめてまして。 昨年7月にSBクラウドへジョインしたSHUです。 人生初のテックブログ投稿です。 今回はネットワークプロダクトのCEN(Cloud Enterprise Network)とVPN-Gatewayを組み合わせた構成をご紹介します。 日々提案活動をしている中で、有り…

Log Serviceのメール通知機能で、RAMアカウントがパスワードクラッキングされた時に検知・通知してみる

皆さん、こんにちは。ソリューションアーキテクトのQ(@joe_qiubinbin)です。 先日、Log Serviceのメール通知機能がリリースされました。Log Serviceでアラームを設定して、ユーザーが設定した条件で関心のあるイベントが発生した時にはそのイベントを検知し…

Image Searchが新料金体系になり試しやすくなりました!

こんにちはSBクラウドLeoです。個人的には本年初投稿になります。今年もよろしくお願いいたします。 さてさて、みなさんImage Search(イメージサーチ)を使っていらっしゃいますか?もしかすると「月50万はちょっと高額…」と思って手を出していない方が多か…

Alibaba Cloudが試せるオンラインハンズオンサイトLabExのご紹介

こんにちちは。ソリューションアーキテクトの森(@mosuke5)です。 目まぐるしく進化、変化するクラウド業界のキャッチアップ大変ですよね。 みなさんに少しでもわかりやすく、簡単に理解できるように日々努めているわけですが、今日はAlibaba Cloudもオンラ…

ECSのNetwork帯域の変更とそのタイミングについて

こんにちは。森(@mosuke5)です。 フォルダを漁っていたら過去のまとめがでてきたので、せっかくなので公開してみました。 ECSはネットワーク帯域(EIP帯域)をオンラインで変更できます(※Pay As You Goかつrunningまたはstopステータス)。この機能の操作…