Hello, The Y です。
今回は Object Storage Service (OSS) バケットの Transfer Acceleration に関してダイブしたいと思います。
3月中旬にAlibabaのOSSプロダクトチームと連絡し、結果を伝えたところ、
開発側が不具合に再現でき、今後修正する予定でございます。
3月末に修正する予定なので、修正が完了したら、再度結果を更新します。
4月上旬にネットワークの改善が完了した報告を受けました。
こちらの機能は日本サイトでは未提供であります。（2020年3月12日時点）
使用には国際サイトのアカウントを準備してください。
ドバイ（UAE）と河源（Heyuan）リージョーンは未提供であります。（2020年3月12日時点）
Transfer Acceleration とは
名前でなんとなく予測は可能と思いますが、
OSS へのアップロードとダウンロードが通常より早く転送が可能の機能です。
小さいファイルなどの転送にはあんまり役に立たないと思いますが、
GB, TB 単位のデータ送信にはとても役にたちます。
最大で 1 Gbit/s の帯域幅で転送が可能。
注意点としては、
別料金が発生します！
金額に関しては OSS ポータルサイトで確認しましょう。
Acc: Acceleration
M: Mainland China (中国大陸)
O: Outside Mainland China (中国大陸以外)
In: Upload (アップロード)
Out: Download (ダウンロード)
| Code | From | To | Type |
|---|---|---|---|
| AccM2MIn | 中国大陸 | 中国大陸 | アップロード |
| AccM2MOut | 中国大陸 | 中国大陸 | ダウンロード |
| AccM2OIn | 中国大陸 | 中国大陸以外 | アップロード |
| AccM2OOut | 中国大陸 | 中国大陸以外 | ダウンロード |
| AccO2MIn | 中国大陸以外 | 中国大陸 | アップロード |
| AccO2MOut | 中国大陸以外 | 中国大陸 | ダウンロード |
| AccO2OIn | 中国大陸以外 | 中国大陸以外 | アップロード |
| AccO2OOut | 中国大陸以外 | 中国大陸以外 | ダウンロード |
Transfer Acceleration 機能を有効化
Transfer Acceleration の機能の有効化は単純で二つの方法があります。
- 「概要（Overview）」画面
- 「基本設定（Basic Settings）」画面
「概要（Overview）」画面からの設定
- バケットを作成後「Overview」画面に遷移し、「Domain Name」から「Transfer Acceleration-based Access」の列に「Enable」ボタンがありますので、ボタンを押下
- ポップアップ画面で「Enable Transfer Acceleration」のスライドをクリックすると、スライドが緑になりますので、その後「Save」ボタンを押下
- これで有効化が完了！ただし、有効化後は30分待ってください。
「基本設定（Basic Settings）」画面からの設定
- バケットを作成後「Basic Settings」画面に遷移し、「Transfer Acceleration」の行がありますので、「Configure」ボタンを押下
- スライドの「Enable Transfer Acceleration」が表示されますので、スライドをクリックし、「Save」ボタンを押下
- これで有効化が完了！ただし、有効化後は30分待ってください。
使用方法
基本的には三つの方法で Transfer Acceleration を使用が可能です。
今回、自分が検証に使ったのは「ossutil」でその理由としてはスクリプトでテストを行うのに一番簡単に作成できるからです。
通常の OSS アップロードの差があんまりなく、スクリプトに`-e`のオプションとエンドポイントを`oss-accelerate.aliyuncs.com`追加するだけで使用が可能！
動作結果
テスト内容
Transfer Acceleration 機能があるバケットを有効化が終わり30分以上待ったあとに、テストを実行。
実行数：
・ローカルパソコンからバケットへのアップロード x ５回
・バケットからローカルパソコンへのダウンロード x ５回
ファイルサイズ：
・約 1.07GB (1,073,741,824)
エンドポイント：
・通常
・Transfer Acceleration
テスト方法
現在２１のOSSリージョンがあります。
１台のECSに２１のOSSへアップロードやダウンロードを実行することが可能ですが、
ネットワークの帯域幅やテスト実行時間がずれると、同一のテスト結果がでません。
そのため、２０台のECS（ecs.g6.large - 2C 8G）を作成し、
１対１の呼び出しを行います。
ECSは全部東京リージョンに作成しています。
国際サイトのEIPでは２００Mbpsまで設定が可能ですのでそちらをECSに付けます。
スクリプトを同時に実行するには、
Alibaba CloudのCloud Assistantを使用します。
スクリプトの実行は以下の順番で合計５回行います。
1. 通常のエンドポイントでアップロード
2. 通常のエンドポイントでアップロードしたファイルを元にダウンロード
3. アップロードファイルを削除
4. Transfer Acceleration経由でアップロード
5. Transfer Acceleration経由でアップロードしたファイルを元にダウンロード
6. アップロードファイルを削除
アップロード・ダウンロードするたびに名前が変更されますので、
同じファイルが呼び出されることはありません。
スクリプトはミリ単位で記録され、
５回実行したスクリプトの平均値を以下のテスト結果として記載します。
テスト結果
あくまで以下の結果は参考まで使用してください。
必ずも同じ結果が出ることは限りません！
こちらの平均は東京のECSから各OSSリージョンのバケットになります。
修正前
テスト結果はここです。
| OSS アウップロード・ダウンロード結果 | ||||
|---|---|---|---|---|
| Bucket | Regular | Accelerated | ||
| Upload | Download | Upload | Download | |
| Tokyo, Japan ap-northeast-1 |
- | - | - | - |
| Mumbai, India ap-south-1 |
43秒 | 46秒 | 474秒 | 43秒 |
| Singapore ap-southeast-1 |
43秒 | 44秒 | 410秒 | 43秒 |
| Sydney, Australia ap-southeast-2 |
43秒 | 44秒 | 477秒 | 43秒 |
| Kuala Lumpur, Malaysia ap-southeast-3 |
43秒 | 44秒 | 403秒 | 43秒 |
| Jakarta, Indonesia ap-southeast-5 |
43秒 | 44秒 | 401秒 | 43秒 |
| Beijing, China cn-beijing |
1322秒 | 45秒 | 153秒 | 44秒 |
| Chengdu, China cn-chengdu |
42秒 | 44秒 | 330秒 | 43秒 |
| Hangzhou, China cn-hangzhou |
99秒 | 43秒 | 291秒 | 44秒 |
| Heyuan, China cn-heyuan |
1303秒 | 45秒 | - | - |
| Hong Kong SAR cn-hongkong |
42秒 | 43秒 | 314秒 | 43秒 |
| Hohhot, China cn-huhehaote |
1682秒 | 49秒 | 545秒 | 43秒 |
| Qingdao, China cn-qingdao |
42秒 | 43秒 | 319秒 | 43秒 |
| Shanghai, China cn-shanghai |
2035秒 | 47秒 | 151秒 | 43秒 |
| Shenzhen, China cn-shenzhen |
3076秒 | 287秒 | 65秒 | 43秒 |
| Zhangjiakou, China cn-zhangjiakou |
1914秒 | 52秒 | 143秒 | 43秒 |
| Frankfurt, Germany eu-central-1 |
44秒 | 50秒 | 559秒 | 43秒 |
| London, UK eu-west-1 |
44秒 | 49秒 | 545秒 | 43秒 |
| Dubai, UAE me-east-1 |
253秒 | 255秒 | - | - |
| Virginia, USA us-east-1 |
44秒 | 46秒 | 504秒 | 43秒 |
| Silicon Valley, USA us-west-1 |
187秒 | 190秒 | 295秒 | 43秒 |
修正後
テスト結果はここです。
| OSS アウップロード・ダウンロード結果 | ||||
|---|---|---|---|---|
| Bucket | Regular | Accelerated | ||
| Upload | Download | Upload | Download | |
| Tokyo, Japan ap-northeast-1 |
- | - | - | - |
| Mumbai, India ap-south-1 |
46秒 | 46秒 | 42秒 | 43秒 |
| Singapore ap-southeast-1 |
43秒 | 45秒 | 42秒 | 43秒 |
| Sydney, Australia ap-southeast-2 |
43秒 | 46秒 | 42秒 | 43秒 |
| Kuala Lumpur, Malaysia ap-southeast-3 |
43秒 | 44秒 | 42秒 | 43秒 |
| Jakarta, Indonesia ap-southeast-5 |
44秒 | 45秒 | 42秒 | 43秒 |
| Beijing, China cn-beijing |
1893秒 | 45秒 | 50秒 | 44秒 |
| Chengdu, China cn-chengdu |
43秒 | 44秒 | 63秒 | 70秒 |
| Hangzhou, China cn-hangzhou |
2006秒 | 57秒 | 57秒 | 43秒 |
| Heyuan, China cn-heyuan |
3447秒 | 58秒 | - | - |
| Hong Kong SAR cn-hongkong |
42秒 | 44秒 | 41秒 | 43秒 |
| Hohhot, China cn-huhehaote |
2865秒 | 49秒 | 53秒 | 43秒 |
| Qingdao, China cn-qingdao |
56秒 | 43秒 | 41秒 | 78秒 |
| Shanghai, China cn-shanghai |
42秒 | 46秒 | 51秒 | 43秒 |
| Shenzhen, China cn-shenzhen |
2152秒 | 44秒 | 42秒 | 42秒 |
| Zhangjiakou, China cn-zhangjiakou |
4000秒 | 290秒 | 42秒 | 43秒 |
| Frankfurt, Germany eu-central-1 |
45秒 | 58秒 | 45秒 | 46秒 |
| London, UK eu-west-1 |
45秒 | 50秒 | 43秒 | 44秒 |
| Dubai, UAE me-east-1 |
443秒 | 337秒 | - | - |
| Virginia, USA us-east-1 |
43秒 | 46秒 | 42秒 | 43秒 |
| Silicon Valley, USA us-west-1 |
185秒 | 188秒 | 42秒 | 43秒 |
終わりに
日本から中国大陸へのアップロードとダウンロードはから Transfer Acceleration を使用すると、
スムーズにファイル転送が可能がわかります。
通常で中国大陸へアップロードは非常に時間がかかり、ビズネスに影響は大きいですので注意しましょう。
日本から中国大陸以外へのアップロードはAlibabaのOSS開発者と連携し、
3月末までにより早くする予定があります。
一度ビズネスで試していかがでしょうか？
4月上旬にネットワークを改善されてからは、
全リージョンが Transfer Acceleration を使用すると、
安定したデータ通信できることが確認できます。