【国際サイト】Object Storage Service (OSS) の Transfer Acceleration 機能に関して

Hello, The Y です。

今回は Object Storage Service (OSS) バケットの Transfer Acceleration に関してダイブしたいと思います。

3月中旬にAlibabaのOSSプロダクトチームと連絡し、結果を伝えたところ、
開発側が不具合に再現でき、今後修正する予定でございます。
3月末に修正する予定なので、修正が完了したら、再度結果を更新します。

こちらの機能は日本サイトでは未提供であります。(2020年3月12日時点)
使用には国際サイトのアカウントを準備してください。

ドバイ(UAE)と河源(Heyuan)リージョーンは未提供であります。(2020年3月12日時点)




Transfer Acceleration とは

名前でなんとなく予測は可能と思いますが、
OSS へのアップロードとダウンロードが通常より早く転送が可能の機能です。

小さいファイルなどの転送にはあんまり役に立たないと思いますが、
GB, TB 単位のデータ送信にはとても役にたちます。
最大で 1 Gbit/s の帯域幅で転送が可能。

注意点としては、
別料金が発生します!
金額に関しては OSS ポータルサイトで確認しましょう。

Acc: Acceleration
M: Mainland China (中国大陸)
O: Outside Mainland China (中国大陸以外)
In: Upload (アップロード)
Out: Download (ダウンロード)

Code From To Type
AccM2MIn 中国大陸 中国大陸 アップロード
AccM2MOut 中国大陸 中国大陸 ダウンロード
AccM2OIn 中国大陸 中国大陸以外 アップロード
AccM2OOut 中国大陸 中国大陸以外 ダウンロード
AccO2MIn 中国大陸以外 中国大陸 アップロード
AccO2MOut 中国大陸以外 中国大陸 ダウンロード
AccO2OIn 中国大陸以外 中国大陸以外 アップロード
AccO2OOut 中国大陸以外 中国大陸以外 ダウンロード



Transfer Acceleration 機能を有効化

Transfer Acceleration の機能の有効化は単純で二つの方法があります。

  1. 「概要(Overview)」画面
  2. 「基本設定(Basic Settings)」画面

「概要(Overview)」画面からの設定

  1. バケットを作成後「Overview」画面に遷移し、「Domain Name」から「Transfer Acceleration-based Access」の列に「Enable」ボタンがありますので、ボタンを押下
  2. f:id:sbc_yahashi:20200312153147p:plain

  3. ポップアップ画面で「Enable Transfer Acceleration」のスライドをクリックすると、スライドが緑になりますので、その後「Save」ボタンを押下
  4. f:id:sbc_yahashi:20200312153153p:plain

  5. これで有効化が完了!ただし、有効化後は30分待ってください。

「基本設定(Basic Settings)」画面からの設定

  1. バケットを作成後「Basic Settings」画面に遷移し、「Transfer Acceleration」の行がありますので、「Configure」ボタンを押下
  2. f:id:sbc_yahashi:20200312153156p:plain

  3. スライドの「Enable Transfer Acceleration」が表示されますので、スライドをクリックし、「Save」ボタンを押下
  4. f:id:sbc_yahashi:20200312153201p:plain

  5. これで有効化が完了!ただし、有効化後は30分待ってください。



使用方法

基本的には三つの方法で Transfer Acceleration を使用が可能です。

今回、自分が検証に使ったのは「ossutil」でその理由としてはスクリプトでテストを行うのに一番簡単に作成できるからです。
通常の OSS アップロードの差があんまりなく、スクリプトに`-e`のオプションとエンドポイントを`oss-accelerate.aliyuncs.com`追加するだけで使用が可能!




動作結果


テスト内容

Transfer Acceleration 機能があるバケットを有効化が終わり30分以上待ったあとに、テストを実行。

実行数:
・ローカルパソコンからバケットへのアップロード x 5回
・バケットからローカルパソコンへのダウンロード x 5回

ファイルサイズ:
・約 1.07GB (1,073,741,824)

エンドポイント:
・通常
・Transfer Acceleration


テスト方法

現在21のOSSリージョンがあります。
1台のECSに21のOSSへアップロードやダウンロードを実行することが可能ですが、
ネットワークの帯域幅やテスト実行時間がずれると、同一のテスト結果がでません。

そのため、21台のECS(ecs.g6.large - 2C 8G)を作成し、
1対1の呼び出しを行います。
ECSは全部東京リージョンに作成しています。
国際サイトのEIPでは200Mbpsまで設定が可能ですのでそちらをECSに付けます。

スクリプトを同時に実行するには、
Alibaba CloudのCloud Assistantを使用します。

スクリプトの実行は以下の順番で合計5回行います。
1. 通常のエンドポイントでアップロード
2. 通常のエンドポイントでアップロードしたファイルを元にダウンロード
3. アップロードファイルを削除
4. Transfer Acceleration経由でアップロード
5. Transfer Acceleration経由でアップロードしたファイルを元にダウンロード

6. アップロードファイルを削除
アップロード・ダウンロードするたびに名前が変更されますので、
同じファイルが呼び出されることはありません。

スクリプトはミリ単位で記録され、
5回実行したスクリプトの平均値を以下のテスト結果として記載します。

興味がある方はテストの実行結果をここに入れていますので、
ご自由にみてください。


テスト結果

あくまで以下の結果は参考まで使用してください。
必ずも同じ結果が出ることは限りません!
こちらの平均は東京のECSから各OSSリージョンのバケットになります。

OSS アウップロード・ダウンロード結果
Bucket Regular Accelerated
Upload Download Upload Download
Tokyo, Japan
ap-northeast-1
- - - -
Mumbai, India
ap-south-1
43秒 46秒 474秒 43秒
Singapore
ap-southeast-1
43秒 44秒 410秒 43秒
Sydney, Australia
ap-southeast-2
43秒 44秒 477秒 43秒
Kuala Lumpur, Malaysia
ap-southeast-3
43秒 44秒 403秒 43秒
Jakarta, Indonesia
ap-southeast-5
43秒 44秒 401秒 43秒
Beijing, China
cn-beijing
1322秒 45秒 153秒 44秒
Chengdu, China
cn-chengdu
42秒 44秒 330秒 43秒
Hangzhou, China
cn-hangzhou
99秒 43秒 291秒 44秒
Heyuan, China
cn-heyuan
1303秒 45秒 - -
Hong Kong SAR
cn-hongkong
42秒 43秒 314秒 43秒
Hohhot, China
cn-huhehaote
1682秒 49秒 545秒 43秒
Qingdao, China
cn-qingdao
42秒 43秒 319秒 43秒
Shanghai, China
cn-shanghai
2035秒 47秒 151秒 43秒
Shenzhen, China
cn-shenzhen
3076秒 287秒 65秒 43秒
Zhangjiakou, China
cn-zhangjiakou
1914秒 52秒 143秒 43秒
Frankfurt, Germany
eu-central-1
44秒 50秒 559秒 43秒
London, UK
eu-west-1
44秒 49秒 545秒 43秒
Dubai, UAE
me-east-1
253秒 255秒  - -
Virginia, USA
us-east-1
44秒 46秒 504秒 43秒
Silicon Valley, USA
us-west-1
187秒 190秒 295秒 43秒



終わりに

日本から中国大陸へのアップロードとダウンロードはから Transfer Acceleration を使用すると、
スムーズにファイル転送が可能がわかります。
通常で中国大陸へアップロードは非常に時間がかかり、ビズネスに影響は大きいですので注意しましょう。
日本から中国大陸以外へのアップロードはAlibabaのOSS開発者と連携し、
3月末までにより早くする予定があります。

一度ビズネスで試していかがでしょうか?