Engineers' Blog

Cloudflare GatewayでWebフィルタリングをやってみた

皆様こんにちは! プロダクト技術課の斎藤です SBクラウドはクラウドフレア・ジャパン株式会社と提携し、Cloudflareのソリューションを提供しております。 今回はCloudflare Gatewayを利用して、簡単にクライアントのWebフィルタリングを行ってみました。 ww…

ARMS Prometheus MonitoringでACKクラスターを監視する

こんにちは、ソリューションアーキテクトの有馬です。 今回は Application Real-Time Monitoring Service (ARMS) で、Container Service for Kubernetes (ACK) のモニタリングを試してみたいと思います。 ※ 以降は Application Real-Time Monitoring Ser…

MaxCompute連載15:TableStoreからMaxComputeへ連携する方法

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の15回目です。 今回はTableStoreからMaxComputeへ連携する方法について説明します。 前回の記事はこちらをご覧ください。 www.sbcloud.co.jp …

MaxCompute連載14:ElasticsearchからMaxComputeへ連携する方法

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の14回目です。 今回はElasticsearch からMaxComputeへ連携する方法について説明します。 前回の記事はこちらをご覧ください。 www.sbcloud.co…

Alibaba Cloud IDaaSを使ってVPN Gatewayに2要素認証を導入してみた

皆様こんにちは! プロダクト技術課の斎藤です。 先日、Alibaba Cloud国際サイトで「IDaaS」というプロダクトのPublic Preview(beta版)がリリースされました。 VPN Gatewayと組み合わせることで、SSL-VPN接続時にID+パスワード認証を追加することが出来るよ…

中国向けWebサイトのクラウド構築 香港リージョン編

Alibaba Cloudは中国国内パブリッククラウドのマーケットシェア No.1であり、中国国内のWebサイトのおよそ40%がAlibaba Cloud上で稼働していると言われています。 今回は、中国向けWebサイトでもICP登録が不要となる香港リージョンで、シンプルなクラウド構…

MaxCompute連載12:LogServiceからMaxComputeへ連携する方法

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の12回目です。 今回はLogServiceからMaxComputeへ連携する方法について説明します。 前回の記事はこちらをご覧ください。 www.sbcloud.co.jp …

クライアントVPN不要! Cloudflareを使ってWebサーバへゼロトラストアクセスを実現

皆様こんにちは! プロダクト技術課の斎藤です。(組織が変更になりました) SBクラウドはクラウドフレア・ジャパン株式会社と提携し、Cloudflareのソリューションを提供しております。 www.sbcloud.co.jp 本日はその中でも、Cloudflare Accessを利用したWebサ…

MaxCompute連載11:MaxComputeでJobを設定する

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の11回目です。 今回はDataWorksのジョブ処理を使って、MaxCompute Tableで定期的なデータ格納処理をする方法について説明します。 前回の記事…

MaxCompute連載10:HDFS_ParquetファイルをMaxComputeの外部テーブルとして処理する(外部テーブル・partitionつき)

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の10回目です。 今回はHDFS_ParquetファイルをMaxComputeの外部テーブルとして処理する方法について説明します。 前回の記事はこちらをご覧く…

MaxCompute連載9:JSONファイルをMaxComputeの外部テーブルとして処理する

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の9回目です。 今回はJSONファイルをMaxComputeの外部テーブルとして処理する方法について説明します。 前回の記事はこちらをご覧ください。 w…

MaxCompute連載8:JSONファイルをMaxComputeの内部テーブルに格納する

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の8回目です。 今回はJSONファイルをMaxComputeの内部テーブルに格納する方法について説明します。 前回の記事はこちらをご覧ください。 www.s…

Cloudflare(クラウドフレア)で既存のDNSを使う方法を紹介するよ❗️

今回はSBクラウドでも取り扱っている Cloudflare(クラウドフレア)に関して、初期設定とDNS周りのお話をちょっとしたいと思います。 CNAME Setupという方式でネームサーバーの切り替えをせずにCloudflareを利用することが可能になりますので紹介していきた…

MaxCompute連載13:RDS for MySQL からMaxComputeへ連携する方法

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の13回目です。 今回はRDS for MySQL からMaxComputeへ連携する方法について説明します。 前回の記事はこちらをご覧ください。 www.sbcloud.co…

MaxCompute連載7:CSVファイルをMaxComputeの外部テーブルとして処理する

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の7回目です。 今回はCSVファイルをMaxComputeの外部テーブル(EXTERNAL Table)として格納する方法をについて説明します。 前回の記事はこち…

MaxCompute連載6:CSVファイルをMaxComputeの内部テーブルに格納する

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の6回目です。 今回はMaxComputeでCSVファイルを格納、SQL処理する方法を説明します。 前回の記事はこちらをご覧ください。 www.sbcloud.co.jp…

MaxCompute連載5:MaxComputeを支えるツール・TunnelとIntelliJ IDEAについて

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載記事の5回目です。 今回はMaxComputeを支えるツール・TunnelおよびIntelliJ IDEAについてを説明します。 前回の記事はこちらをご覧ください。 www.…

MaxCompute連載4:MaxComputeのセキュリティについて

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute 」についての連載記事の4回目です。 今回はMaxComputeのセキュリティについて説明します。 前回の記事はこちらをご覧ください。 www.sbcloud.co.jp 前書き MaxComp…

MaxCompute連載3:DataWorksにおける基本モードと標準モード、開発環境と本番環境について

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute([https://www.alibabacloud.com/product/maxcompute) 」についての連載記事の3回目です。 今回はDataWorksにおける基本モードと標準モード、開発環境と本番環境に…

MaxCompute連載2:MaxComputeをハンドリングするDataWorksについて

Hi, データエンジニアの大原です。 Alibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載2回目です。 今回はAlibaba Cloud MaxComputeを操作するために必要となるDataWorksについてを説明します。 前回の記事はこちらをご覧ください。 ww…

MaxCompute連載1:毎年世界No.1のTPC-BB(Big Data処理ベンチマーク)を記録し続けるMaxComputeのご紹介

Hi, データエンジニアの大原です。 今回からAlibaba Cloudのデータ処理プラットフォーム「MaxCompute」についての連載をはじめます。 第1回はMaxComputeの特徴や他のビッグデータ処理プラットフォームとの違いなどを説明します。 第2回の記事はこちらです。 …

Alibaba Cloud マイグレーションソリューション

はじめに クラウド環境の特徴 マイグレーションリソース サーバー VMware VM(仮想サーバー) データベース データ まとめ はじめに こんにちは、ソリューションアーキテクトの有馬です。 成長していくビジネス変化へスピーディかつ柔軟に対応し、安定して事業…

Anti-DDoS Premium と Alibaba CDN を組み合わせる

■はじめに ■Security-Traffic-Managerについて ■前提 ■設定の流れ 1.Alibaba Cloud CDNにドメイン登録をする(ECSのIPアドレスを登録) 2.ネームサーバにTXTレコードを登録する 3.Anti-DDoS Premiumにドメイン設定をする(ECSのIPアドレスを登録) 4.Sec…

Alibaba Cloud WAFを他プロダクトと組み合わせる(Anti-DDoS Premium編)

■はじめに ■AlilbabaCloudのAnti-DDoSについて ■WAF+Anti-DDoS Premiumとの組み合わせについて ■前提 ■設定の流れ 1.WAFにドメイン設定をする(ECSのIPアドレスを登録) 2.Anti-DDoS Premiumインスタンスの購入する 3.Anti-DDoS Premiumにドメイン設定を…

【Logservice連載】NYC-Taxi on Log Service

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している Log Service のご紹介、およびNYC-TaxiデータをLog Serviceへ収集し可視化・分析する方法を記載します。 また、SBC Engineers' Blogの性格上、集中連載記事になります。 【…

【Logservice連載】SDKでExcelデータを収集するLogService

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している LogService のご紹介、およびSDKを使ってExcelデータをLogServiceへ収集する方法を記載します。 また、SBC Engineers' Blogの性格上、集中連載記事になります。 【Logservi…

【Logservice連載】Google Apps Script(GAS)で株価データを収集し、LogServiceの機械学習で株価予測・異常検知・監視をする

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している LogService のご紹介、および株価をLogServiceで予測・異常検知・検知する方法を記載します。 また、SBC Engineers' Blogの性格上、集中連載記事になります。 【Logservice…

【Logservice連載】SDKでTwitterデータを収集するLogService

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している LogService のご紹介、およびSDKでTwitterデータをLogServiceへ収集する方法を記載します。 また、SBC Engineers' Blogの性格上、集中連載記事になります。 【Logservice連…

【Logservice連載】Logstashでnetflowデータを収集するLogService

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している LogService のご紹介、およびLogstashでnetflowデータをLogServiceへ収集する方法を記載します。 また、SBC Engineers' Blogの性格上、集中連載記事になります。 【Logserv…

【Logservice連載】OSS、AWS S3からデータを収集するLogService

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している LogService のご紹介、およびOSS、AWS S3からLogServiceへデータを収集する方法を記載します。 また、SBC Engineers' Blogの性格上、集中連載記事になります。 【Logservic…

【Logservice連載】LogtailでCSVデータを収集するLogService

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している LogService のご紹介、およびLogtailでCSVデータをLogServiceへ収集する方法を記載します。 また、SBC Engineers' Blogの性格上、集中連載記事になります。 【Logservice連…

【Logservice連載】オフラインデータを含めた、様々なデータソースをシームレスに収集するLogServiceのご紹介

Hi, データエンジニアの大原です。 今回はAlibaba Cloudの国際サイトで提供している LogService をご紹介します。 また、SBC Engineers' Blogの性格上、集中連載記事になります。 【Logservice連載】オフラインデータを含めた、様々なデータソースをシームレ…

Alibaba Cloud の Quota Center でプロダクトのクォータを管理する

こんにちは。SBクラウドの吉村です。 様々なプロダクトを利用していると、どのプロダクトをどれくらい利用しているのか把握が難しくなります。 例えば、ECSインスタンスを作ろうと思ったら、VPCかvSwitchかECS(CPU)かEIPの何かがクォータ上限に当たってしま…

今さらだが人に聞けない話、データ分析とは?

Hi, データエンジニアの大原です タイトル通り、データ分析について色々集中的に記載しょうと思います。 そもそもの話、データ分析とは何か? なぜデータ分析が必要なのか? データ分析を行うモチベーション 記述的分析(データの二次元的可視化) 相関分析…

Alibaba Cloud の EIP にPTRレコード(逆引きDNS)を設定する方法

こんにちは。SBクラウドの吉村です。 この記事は Alibaba Cloud Advent Calendar 2020 3日目の記事です。 qiita.com PTRレコードの取り扱い サポートに依頼する PTRレコードの取り扱い Alibaba Cloud って逆引きDNS設定できるの?と質問があったので調べてみ…

Alibaba Cloud 上海リージョンとさくらのクラウド東京リージョンをBBIXで繋げてみた

こんにちは。SBクラウドの吉村です。 この記事は Alibaba Cloud Advent Calendar 2020 1日目の記事です。 qiita.com ネットワーク構成 マルチクラウド接続の背景 計測 考察 検証の詳細結果 ping 3600発 qperfによるノード間の速度とレイテンシ rsyncによるノ…

ElasticSearchのテキスト分類実装編

ElasticSearchでテキストを分類します。

OSSブラウザで OSS Transfer Acceleration を利用する方法

こんにちは。SBクラウドの吉村です。 今日は本ブログでも紹介しているOSS Transfer Accelerationの機能を、OSSブラウザから利用する方法をご紹介します。 OSS Transfer Accelerationとは OSSブラウザでのインストール方法 OSSブラウザでの利用方法 OSS Trans…

【2020年】アリババ「独身の日」実績と今年のヤバいところをまとめました

2020年のアリババ「独身の日(天猫ダブルイレブン)」の実績を紹介します。 2020年は流通取引総額が約7.9兆円、ピーク時の注文数が58.3万/秒、菜鳥網絡の配送数は23.2億個になりました。 その他にも今年のトピックを4つ紹介します。

「この微妙な違いって何?」を画像AIで解決!曖昧さを分類するAIソリューションはじめました (解説編)

初めて投稿します、画像AI担当のRinksです。 SBクラウドではAIプロフェッショナルサービスを展開しておりますが、「一体どういった事を解決してくれるのか?」についてはお問い合せいただかないと中々お応えする機会がありませんでした。そこで本記事では、A…

ElasticSearchでのテキスト分類(理論編)

MathJax = { tex: {inlineMath: [['$', '$'], ['\(', '\)']]} }; こんにちは。エンジニアの鄭です。 今回ElasticSearchを用いて、テキスト分類を紹介させて頂きます。 はじめに ElasticSearchとは ElasticSearchでのテキスト分類アルゴリズム TF-IDFアルゴリ…

Elasticsearch 機械学習での異常検知体験

目次 目次 1、はじめに 2、異常とは 2-1. 周期的異常 2-2. クラスタリングによる異常 3、MachineLearning機能の異常検知について 4、ElasticsearchのMachineLearning機能の構造 5、分析の種類 6、single-metricで異常検知体験 7、終わりに 1、はじめ…

Synology(NAS)のCloudSync機能でAlibaba Cloud OSS連携

こんにちは。SBクラウドの吉村です。 私の家ではSynologyという台湾メーカーのNASを利用しているのですが、Alibaba Cloud OSSと連携が出来るのでそちらをご紹介したいと思います。 特に中国とのファイル共有で良さそうなので、このような構成を作っていきま…

VBRの閉域接続をCloud Monitorで監視・通知する

皆さんこんにちは。ご覧いただきありがとうございます! ソリューションアーキテクトの浜田です。 先日こちらのテックコラムでAlibaba Cloudに対しての閉域接続(物理線接続やNSPパートナーを使った論理接続)についてご紹介しましたが、本記事はクラウド側…

Hybrid Backup Serviceについてのご紹介

みなさんこんにちは、エンジニアのHRです。 今回は最近東京リージョンにもリリースされた、AlibabaCloudのHybridBakcupServiceについてご紹介させていただきます。(以下HBRと略) HBRのバックアップ機能はかなり豊富で、AlibabaCloud上のリソースはもちろん…

IoT Studioで公開APIを作ってみた

こんにちは!エンジニアの豹です。 今回はIoT Studioを使って、公開APIの作成を試してみました。 IoT Studioで公開APIを作る IoT Studioは、公開APIを作成する機能を提供します。 公開APIを介して、Alibaba Cloud IoT Platform上のデータはAppKeyおよびAppSe…

自宅IoTの実現へ第一歩!Raspberry Pi KitとAlibabaCloudのLogService活用

皆さんこんにちは、エンジニアのシャです。 以前弊社のエンジニアたちがLogServiceについてたくさんのブログを書きました。 過去参考記事: AlibabaCloudのLogServiceで実運用を考えてみる | Engineers' Blog - SBクラウド株式会社 実運用を想定したAlibaba …

新SSL-VPNプロダクト「SAG-APP」を無料で試してみた

みなさまこんにちは! ソリューションアーキテクトの斎藤です。 今回はAlibaba Cloudの新SSL-VPNプロダクトである「SAG-APP」が現在無料トライアルキャンペーン中なので早速試してみました! 1.SAG-APPとは SAG-APPとはAlibaba CloudのSAGプロダクトシリーズ…

東京リージョンでStorage Capacity Units (SCU) が利用可能になりました

こんにちは。SBクラウドの吉村です。 4月に Digital Alibaba Cloud Day APAC で言及されていた Storage Capacity Units (SCU)が東京リージョンでもリリースされたのでご紹介します。 SCUの概要 SCUの対象ストレージ SCUの控除係数 ストレージのリソースプラ…

Global Accelerator (GA) を使って安定な日中VPN環境を構築する

皆さんこんにちは。ご覧いただきありがとうございます! ソリューションアーキテクトの浜田です。 先日こちらのテックコラムでAlibaba CloudのGlobal Acceleratorについてご紹介しましたが、本記事は既存の日中VPN環境を安定させたい、手軽に環境を構築した…