FunctionComputeを利用して日本と中国リージョン間でOSSファイル転送を実現

こんにちは、SBCエンジニアのZです。(^_^)z

今回はAlibabaCloud が提供しているサーバレスコンピューティングサービス FunctionCompute の利用検証になります。

前書き

現在世界中にグロバール化が進んでいる一方、クラウドサービスを利用も拡大し、グローバルリージョンをまたがるファイル同期のニーズが高まっています。コスト抑えてリージョンをまたがるファイル転送とファイル同期は課題となっています。

実現方法が色々ありますが、今回では、OSSとFunction Computeを利用して迅速にファイルを同期するソリューションを一つ実践してみます。

シナリオ

実現する構成図は下記のように、 f:id:sbc_zmm:20200311160651p:plain:w680

・アプリサーバが同じリージョンにあるOSSへファイルの処理・アップロードをする

・アップロードはVPC内のイントラネットを経由する

・ファイルアップロードと同時にFunction Computeから関数の呼び出しをトリガーする

・呼び出された関数でファイルをリモートリージョンのOSSへ同期する

Function Compute によりファイル同期検証

今回は中国北京リージョンを転送元、東京を転送先として実行します。

１、OSSコンソールにログインし、北京リージョンで転送元の OSS バケット作成

OSS bucket名：src-bucket-test

他設定：デフォルト

f:id:sbc_zmm:20200311171141p:plain

２、東京リージョンで転送先の OSS バケット作成

OSS bucket名：dst-bucket-test

他設定：デフォルト

f:id:sbc_zmm:20200311171208p:plain ３、Function Computeのコンソールで、転送元の北京リージョンで関数を作成： f:id:sbc_zmm:20200311154740p:plain f:id:sbc_zmm:20200311154859p:plain

Python3のコードのサンプルとして、下記のように関数を作成：

# -*- coding: utf-8 -*-
import json
import oss2


def handler(event, context):
    evt = json.loads(event)
    logger.info("Handling event: %s", evt)
    creds = context.credentials

    # Required by OSS sdk
    auth = oss2.StsAuth(
        creds.access_key_id,
        creds.access_key_secret,
        creds.security_token)

    evt = evt['events'][0]
    
    bucket_name = evt['oss']['bucket']['name']
    endpoint = 'oss-' + evt['region'] + '.aliyuncs.com'
    bucket = oss2.Bucket(auth, endpoint, bucket_name)

    object_name = evt['oss']['object']['key']

    remote_stream = bucket.get_object(object_name)
    if not remote_stream:
        raise RuntimeError('failed to get oss object. bucket: %s. object: %s' % (bucket_name, object_name))
        return 
    print ('get object from oss success: {}'.format(object_name))

    target_bucket_name = 'dst-jp-bucket'
    target_endpoint = 'oss-ap-northeast-1.aliyuncs.com'
    target_bucket = oss2.Bucket(auth, target_endpoint, target_bucket_name)
    target_bucket.put_object(object_name, remote_stream)

    return 'success'

４、関数呼び出し用のトリガーも作成する、「OSSトリガー」を選択： f:id:sbc_zmm:20200310163615p:plain