こんにちは。SBクラウドの吉村です。
今回は、Nginx でHTTPSを通せるForward Proxyを構築して、Global Accelerator でクライアントからForward Proxyへのアクセスを高速化する、ということをやってみます。
目的は中国国内Webサイトを日本からスムーズに閲覧することです。
苦慮したのは、どのようにForward ProxyでクライアントIPアドレスのみアクセス許可をするかでした。
最初にいくつか検討しました。
- ECSのセキュリティグループだけで出来ないか
- Alibaba Cloud 製オープンソースのカーネルモジュール TOA を使って、ECSのOSでアクセス制限出来ないか
など。
しかし、結果的には GA の Reserve Client IP address を有効化して、Nginx の設定でアクセス制限を掛けることで実現できました。
1.Nginx と Alibaba の関係
Alibaba Cloud は中国国内のWEBサイトの多くで利用されています。
そして、Alibaba Cloud プロダクトの多くに Nginx が使われていることをご存知でしょうか。
例えば、SLB や Log Service は Nginx と公表されていますし、おそらく GA も Nginx が使われているのでは?と思います。
正確にはこれらは素のNginxではなく、Alibaba グループが Nginx をフォークした Tengine (Taobao-Engine の略)というオープンソースソフトウェアになっています。
そして、今回 Forward Proxy に Nginx を選んだのも Alibaba に関係があります。
Alibaba のエンジニアが Nginx で HTTPS 対応の Forward Proxy モジュールを開発しており、これを使うことにしました。
2.Nginx で Foward Proxy 構築
まずは環境を整えて、Nginxのインストールを行います。
Nginxはモジュールを利用するためソースからビルドします。
OS : CentOS 7.8
Nginx : 1.14
# アップデートと必要な環境を整える
yum update
yum -y install gcc pcre pcre-devel zlib zlib-devel openssl openssl-devel git
# ソースのダウンロード
wget http://nginx.org/download/nginx-1.14.0.tar.gz
# 解凍
tar -xzf nginx-1.14.0.tar.gz
# https 対応 forward proxy モジュールをダウンロード
git clone https://github.com/chobits/ngx_http_proxy_connect_module.git
# forward proxy モジュールのパッチを適用
cd nginx-1.14.0
patch -p1 < ../ngx_http_proxy_connect_module/patch/proxy_connect_rewrite_1014.patch
# www ユーザー作成
groupadd www
useradd -g www www
# ソースコードをビルド
./configure --user=www --group=www --prefix=/usr/local/nginx --with-http_ssl_module --with-http_stub_status_module --with-http_realip_module --with-threads --add-module=../ngx_http_proxy_connect_module
make
make install
# モジュール確認
/usr/local/nginx/sbin/nginx -V
## このようになってればOK
nginx version: nginx/1.14.0
built by gcc 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC)
built with OpenSSL 1.0.2k-fips 26 Jan 2017
TLS SNI support enabled
configure arguments: --user=www --group=www --prefix=/usr/local/nginx --with-http_ssl_module --with-http_stub_status_module --with-http_realip_module --with-threads --add-module=/tmp/ngx_http_proxy_connect_module
以上でNginxのインストールは完了です。
続いて、Nginx の設定ファイルの作業をしていきます。
# シンボリックリンクの作成
ln -s /usr/local/nginx/sbin/nginx /usr/bin/nginx
# 起動スクリプトの作成
vi /etc/init.d/nginx
#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig: - 85 15
# description: NGINX is an HTTP(S) server, HTTP(S) reverse \
# proxy and IMAP/POP3 proxy server
# processname: nginx
# config: /usr/local/nginx/conf/nginx.conf
# config: /etc/sysconfig/nginx
# pidfile: /usr/local/nginx/logs/nginx.pid
# Source function library.
. /etc/rc.d/init.d/functions
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
nginx="/usr/local/nginx/sbin/nginx"
prog=$(basename $nginx)
NGINX_CONF_FILE="/usr/local/nginx/conf/nginx.conf"
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
lockfile=/var/lock/subsys/nginx
make_dirs() {
# make required directories
user=`$nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
if [ -z "`grep $user /etc/passwd`" ]; then
useradd -M -s /bin/nologin $user
fi
options=`$nginx -V 2>&1 | grep 'configure arguments:'`
for opt in $options; do
if [ `echo $opt | grep '.*-temp-path'` ]; then
value=`echo $opt | cut -d "=" -f 2`
if [ ! -d "$value" ]; then
# echo "creating" $value
mkdir -p $value && chown -R $user $value
fi
fi
done
}
start() {
[ -x $nginx ] || exit 5
[ -f $NGINX_CONF_FILE ] || exit 6
make_dirs
echo -n $"Starting $prog: "
daemon $nginx -c $NGINX_CONF_FILE
retval=$?
echo
[ $retval -eq 0 ] && touch $lockfile
return $retval
}
stop() {
echo -n $"Stopping $prog: "
killproc $prog -QUIT
retval=$?
echo
[ $retval -eq 0 ] && rm -f $lockfile
return $retval
}
restart() {
configtest || return $?
stop
sleep 1
start
}
reload() {
configtest || return $?
echo -n $"Reloading $prog: "
killproc $nginx -HUP
RETVAL=$?
echo
}
force_reload() {
restart
}
configtest() {
$nginx -t -c $NGINX_CONF_FILE
}
rh_status() {
status $prog
}
rh_status_q() {
rh_status >/dev/null 2>&1
}
case "$1" in
start)
rh_status_q && exit 0
$1
;;
stop)
rh_status_q || exit 0
$1
;;
restart|configtest)
$1
;;
reload)
rh_status_q || exit 7
$1
;;
force-reload)
force_reload
;;
status)
rh_status
;;
condrestart|try-restart)
rh_status_q || exit 0
;;
*)
echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
exit 2
esac
# 起動プログラムの権限設定と自動起動設定
chmod a+x /etc/init.d/nginx
chkconfig --add /etc/init.d/nginx
chkconfig nginx on
# 設定ファイルの作成
# 既存の設定ファイルのバックアップをして、上書きしてください
vi /usr/local/nginx/conf/nginx.conf
worker_processes 1;
events {
worker_connections 1024;
}
http {
server {
listen 3128;
allow xxx.xxx.xxx.xxx; #接続を許可するクライアントIPアドレス
deny all;
# dns resolver used by forward proxying
resolver 100.100.2.136 100.100.2.138; #Alibaba CloudのキャッシュDNSサーバ
# forward proxy for CONNECT request
proxy_connect;
proxy_connect_allow 443;
proxy_connect_connect_timeout 5s;
proxy_connect_read_timeout 5s;
proxy_connect_send_timeout 5s;
# forward proxy for non-CONNECT request
location / {
proxy_pass http://$host;
proxy_set_header Host $host;
}
}
}
以上がNginxの設定でした。
それでは準備ができたのでNginxを起動します。
# Nginx起動
systemctl start nginx
systemctl status nginx
3.GAの設定とReserve client IP addresses機能の有効化
Nginx のFoward Proxy はこのままでも使うことが出来ますが、日本と中国間のインターネット通信は不安定です。
そのため、クライアントとNginxの間を国際専用線サービス GA (Global Accelerator)で高速化していきます。
・インスタンス購入
・基本帯域幅プラン購入
・クロスボーダー高速化帯域幅プラン購入
については割愛しますので、GAを初めて利用する方はこちらを参照してください。
それではGAの設定をご紹介していきます。
インスタンスの設定画面から、「アクセラレーションエリアの追加」をクリック
今回は日本から中国のFoward Proxyにアクセスするため、アクセラレーションエリアは「アジア太平洋」を選択、リージョンは「日本(東京)」を選択。
帯域は必要な分だけ割り当ててください。
しばらくすると、 高速化IPアドレスが作成されます。
次にリスナーを作成します。
リスナータブから「リスナーの追加」をクリック
- リスナー名 : 好きなものを
- プロトコル : TCP
- ポート番号 : 3128 (Nginxで設定したポート)
- クライアントのアフィニティ: ソースIPアドレス
- エンドポイントグループ名 : お好きなものを
- リージョン : 中国(上海) (ECSのリージョン)
- バックエンドサービス : Alibaba Cloud
- クライアントIPの予約 : 有効化 ※これがReserve client IP addresses
- エンドポイント (バックエンドサービスタイプ) : Alibaba Cloud のパブリックIPアドレス
- エンドポイント (バックエンドサービス) : ECSのパブリックIPアドレス
GAの設定は以上です。
最後に、GAのエンドポイントグループIPと、クライアントのIPアドレスをECSのセキュリティグループに追加しましょう。
以上で設定が完了です。
こちらの絵が完成しました。
PCやスマホでプロキシの設定で、GAの高速化IPアドレスとポート3128を指定して、以下のサイトにアクセスしてみてください。
ECSのパブリックIPが表示されたら成功です。
https://www.ugtop.com/spill.shtml
また、Nginxのアクセスログには、GAのエンドポイントグループIPではなく、クライアントIPアドレスが記録されてるはずです。
# NginxのアクセスログにはクライアントIPアドレスが記録される
==> logs/access.log <==
xxx.xxx.xxx.xxx - - [12/Sep/2020:10:49:12 +0800] "CONNECT p24-caldav.icloud.com:443 HTTP/1.1" 200 12181 "-" "Mac+OS+X/10.15.6 (19G2021) CalendarAgent/930.5.1"
# 中国なのでGoogle系のサービスはアクセスできない
==> logs/error.log <==
2020/09/12 10:49:13 [error] 24427#24427: *5852 proxy_connect: upstream connect timed out (peer:172.217.27.142:443) while connecting to upstream, client: xxx.xxx.xxx.xxx, server: , request: "CONNECT chat.google.com:443 HTTP/1.1", host: "chat.google.com:443"
以上です。