Casual Developers Note

エンジニアやデザイナー向けの技術情報・英語学習情報・海外留学情報・海外旅行情報を提供中。世界を旅して人生を楽しもう。

  • ホーム
  • 技術 Tips & Tutorials
  • 技術塾
  • ライフハック
  • 海外留学
  • 英語学習
  • コラム
  • お問い合わせ
現在の場所:ホーム / アーカイブec2

2018年12月10日 By KD コメントを書く

AWS ECRとECSの入門(EC2編) ~ ECSのEC2版を使ってReactのDockerアプリケーションをAWS上で稼働させる方法 ~

AWS ECRとECSの入門(EC2編) ~ ECSのEC2版を使ってReactのDockerアプリケーションをAWS上で稼働させる方法 ~

クラウド上でアプリケーションをDockerイメージとして管理し、Dockerコンテナとして運用する方法として、AWSのECRとECSがあります。今回はECRとECSの入門として、ReactのDockerアプリケーションをAWS上で稼働させる方法を紹介します。

はじめに

アプリケーションをDocker化するのが主流となっている昨今において、Dockerイメージの管理やDockerコンテナの運用をクラウド上で完結させることが求められています。AWSではそのためのサービスとして、Dockerイメージ管理のためのECR、Dockerコンテナ運用のためのECSが提供されています。

今回はReactのDockerアプリケーションを対象として、AWSのECRとECSを使って、AWS上でDockerコンテナを稼働させてみましょう。

前提

以下の準備が完了している必要があります。

  • NodeJSがインストールされていること
  • Dockerがインストールされていること
  • AWS CLIがインストールされ、適切なIAMのユーザが作成済みで、プロファイルに設定されていること(AWS CLIでECSをすべて操作するにはIAMのユーザ「AmazonEC2ContainerServiceFullAccess」のロールを割り当てる必要があります)
  • AWS上にテスト用のVPCとパブリックなサブネットが構築済みであること(今回はデフォルトをそのまま使います)
  • AWS上にテスト用のセキュリティグループが構築済みであること(今回はデフォルトのセキュリティグループに、自分のIP向けにSSHポート22、HTTPポート80、TCPポート「32768–61000」を公開する設定を追加したものを使います)
  • AWSのEC2インスタンスにSSHするためのキーペアが作成済みであること(今回は「MyKeyPair」という名前で作成したものを使います)

上記のAWSの設定の意味が理解できない場合は、この記事の内容に取り組む前にIAM、EC2、VPC、AWS CLIの基礎を学んだ方が良いでしょう。

細かいバージョンは「環境」を参照してください。

ECRとは?

ECR(Elastic Container Registry)とは、AWSが提供しているDocker向けのレジストリーサービスです。Dockerのレジストリーサービスと言えばDocker社が提供しているDockerHubですが、そのAWS版です。詳しい説明は公式ドキュメントを参照してください。

ECSとは?

ECS(Elastic Container Service)とは、AWSが提供しているDocker向けのコンテナオーケストレーションサービスです。簡単に言えばAWS上でDockerコンテナを稼働させる環境と、そのコンテナをスケールするための機能が主に提供されています。使用イメージとしては、開発したDockerアプリケーションをビルドしてイメージにし、そのイメージをECRにPushして管理し、そのイメージを使ってECSでDockerコンテナを起動して運用するような感じになります。こちらも詳しくは公式ドキュメントを参照してください。

ReactのDockerアプリケーションの作成

今回の主題ではありませんが、ECRとECSを使うためにDockerアプリケーションが必要なのでReactで簡単に作成します。

ベースを作る

create-react-appでReactのサンプルアプリケーションを作り、Docker化しましょう。

$ create-react-app sample-react-ecs-app
$ cd sample-react-ecs-app/
$ touch Dockerfile
$ tree -I node_modules
.
├── Dockerfile
├── README.md
├── package.json
├── public
│   ├── favicon.ico
│   ├── index.html
│   └── manifest.json
├── src
│   ├── App.css
│   ├── App.js
│   ├── App.test.js
│   ├── index.css
│   ├── index.js
│   ├── logo.svg
│   └── serviceWorker.js
└── yarn.lock

Dockerファイルの作成

ReactアプリケーションをNginxに乗せる構成にしましょう。

Dockerfile

Dockerfileは以下のようにします。

FROM node:11-alpine as builder
WORKDIR /app
COPY package.json .
COPY yarn.lock .
RUN yarn install
COPY . .
RUN yarn build

FROM nginx:1.15-alpine
COPY --from=builder /app/build /usr/share/nginx/html
EXPOSE 80

完成です。

サンプルアプリケーションの起動

完成したサンプルアプリケーションを起動してみましょう。

$ docker image build -t sample-react-ecs-app:latest .
$ docker images | grep sample-react-ecs-app
sample-react-ecs-app   latest              1416916c000b        17 seconds ago      18.2MB
$ docker container run --rm -p 80:80 sample-react-ecs-app:latest

起動した状態でブラウザで「localhost:80」を開きます。

NewImage

OKですね。

ECRのリポジトリ作成とDockerイメージの管理

それではAWSのECRでDockerリポジトリを作っていきましょう。

ECRでリポジトリを作成する

AWSコンソールにログインし、「ECS」をクリックします。

NewImage

「Repositories」を選択し、「Get started」をクリックします。

NewImage

「Repository name」に任意のリポジトリ名(今回は「sample-react-ecs-app」)を入力し、「Next step」をクリックします。

NewImage

「Done」をクリックして完了です。

NewImage

新しいリポジトリが作成されました。

NewImage

DockerイメージをECRにPushする

リポジトリ画面の「View Push Commands」をクリックます。

NewImage

すると以下のようにPushする手順が出てきます。

NewImage

それでは、この手順通りにPushしてみましょう。(すでにDockerイメージはビルド済みですが、手順通りにビルドもしています)

$ $(aws ecr get-login --no-include-email --region us-east-1)
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
Login Succeeded
$ docker build -t sample-react-ecs-app .
$ docker tag sample-react-ecs-app:latest XXXXXXXXXXXX.dkr.ecr.us-east-1.amazonaws.com/sample-react-ecs-app:latest
$ docker push XXXXXXXXXXXX.dkr.ecr.us-east-1.amazonaws.com/sample-react-ecs-app:latest
The push refers to repository [XXXXXXXXXXXX.dkr.ecr.us-east-1.amazonaws.com/sample-react-ecs-app]
61b57277474b: Pushed
7f875a1274be: Pushed
42538a727f9c: Pushed
5abab21bd32e: Pushed
df64d3292fd6: Pushed
latest: digest: sha256:b6477ba3dfc6932f2d4ce911fe5b53033b31dbe57254ecb057634b9500a232a2 size: 1363

画面を確認してみましょう。

NewImage

ECRにDockerイメージがPushされていることが確認できました。

ECSによるDockerコンテナの運用

次にDockerイメージをECSで稼働させましょう。

ECSクラスターの作成

「Clusters」を選択し、「Create Cluster」をクリックします。

NewImage

「EC2 Linux + Networking」を選択し、「Next step」をクリックします。

NewImage

今回はクラスターに前半に以下を設定します。

  • Cluster name: 「sample-react-ecs-app-cluster」
  • Provisioning Model: On-Demand Instance
  • EC2 Instance type: t2.micro
  • Number of Instance: 2 (今回は2つのEC2を使います)
  • Key pair: MyKeyPair

NewImage

クラスターの後半には以下を設定します。

  • VPC: 今回のテスト用に準備したVPC
  • Subnet: 今回のテスト用に準備したパブリックなサブネットを2つ
  • Security group: 今回のテスト用に準備したセキュリティグループ
  • Container Instance IAM role: ecsInstanceRole (自動で作成される)

NewImage

「Create」をクリックします。

すると以下のようにクラスターが作成されます。作成が完了したら「View Cluster」をクリックします。

NewImage

「Registered container instances」が「2」になり、「ECS Instances」のタグをクリックすると2つのインスタンスが「ACTIVE」になっていることが確認できます。

NewImage

また、「EC2 Dashboard」を見ると、EC2インスタンスが自動的に2つ起動しています。

NewImage

これでクラスターの作成が完了しました。

ECSタスクの作成

「Task Definitions」を選択し、「Create new Task Definition」をクリックします。

NewImage

「EC2」を選択し、「Next step」をクリックします。

NewImage

「Configure task and container definitions」の前半に以下を設定します。

  • Task Definition Name: 「sample-react-ecs-app-task」
  • Network Mode: Bridge

「Container Definition」の「Add container」をクリックしてコンテナ情報を設定します。

NewImage

コンテナ情報には以下を設定します。

  • Container name: sample-react-ecs-app
  • Image: (ECRに作成したリポジトリの「Repository URI」)
  • Memory Limits: Hard limit, 128
  • Port mappings: 0:80 (Host portを「0」にすると動的ポートマッピング(dynamic host port mapping)が有効になり、同一インスタンス内に複数のDockerコンテナを起動できる)

入力が終わったら「Add」をクリックします。

NewImage

コンテナ情報が追加できたので、「Create」をクリックします。

NewImage

タスクの作成が完了しました。

NewImage

ECSタスクの実行

ECSのタスクとは、Dockerコンテナの起動コマンドです。

「Action」から「Run Task」をクリックします。

NewImage

以下を設定して、「Run Task」をクリックします。

  • Launch type: EC2
  • Cluster: sample-react-ecs-app-cluster
  • Number of tasks: 2 (Dockerコンテナの数を2つにする)
  • Placement: AZ Balanced Spread

NewImage

「Tasks」タブを選ぶと、2つのタスクが実行されています。

NewImage

タスクの「Last status」が「PENDING」から「RUNNING」になればDockerコンテナの起動が完了しています。

NewImage

試しに、1つのインスタンス内のDockerコンテナでの状況を確認してみましょう。

「EC2 Dashboard」からECSで起動したインスタンスを1つ選択して、パブリックIPアドレスを確認します。

NewImage

SSHでアクセスします。

$ ssh -i ~/.ssh/MyKeyPair.pem ec2-user@18.208.224.98
[ec2-user@ip-172-31-29-65 ~]$ docker container ls
CONTAINER ID        IMAGE                                                               COMMAND                  CREATED             STATUS              PORTS                   NAMES
ce7d4889d153        XXXXXXXXXXXX.dkr.ecr.us-east-1.amazonaws.com/sample-react-ecs-app   "nginx -g 'daemon of…"   6 minutes ago       Up 6 minutes        0.0.0.0:32768->80/tcp   ecs-sample-react-ecs-app-task-1-sample-react-ecs-app-fec3f4b4e9bfce947d00
91909553a102        amazon/amazon-ecs-agent:latest                                      "/agent"                 7 minutes ago       Up 7 minutes                                ecs-agent
[ec2-user@ip-172-31-29-65 ~]$ exit

以下の2つのDockerコンテナが起動しています。

  • amazon-ecs-agent: ECSエージェント(AWSのECSの機能を使うためのクライアントのプロセス)
  • sample-react-ecs-app: 今回作成したDockerアプリケーション(32768ポートで公開されている)

公開されているポートでブラウザにアクセスしてみます。

NewImage

正しく表示されました。

ここでDockerコンテナの公開ポートがECSによって自動的に決定されていることに注意してください。これは「動的ポートマッピング(dynamic host port mapping)」によるものです。

動的ポートマッピングが有効になっている場合、Dockerコンテナのホスト側のポートは「32768–61000」の範囲で設定されます。詳しくは公式ドキュメントを参照してください。

ALBによるロードバランシングの設定

ALB(Application Load Balancer)を使用することで、動的ポートマッピングされ、インスタンス内のDockerコンテナにロードバランスすることができます。

「Load Balancers」を選択し、「Create Load Balancer」をクリックします。

NewImage

「Application Load Balancer」の「Create」をクリックします。

NewImage

以下を設定し、「Next: Configure Security Settings」をクリックします。

  • Name: sample-react-ecs-app-alb
  • Scheme: internet-facing

NewImage

インスタンスを配置したVPCとサブネットを選択し、「Next: Configure Security Settings」をクリックします。

NewImage

今回はテストなのでセキュリティ設定はせずに「Next: Configure Security Groups」をクリックします。

NewImage

今回のテスト用のセキュリティグループを選択し、「Next: Configure Routing」をクリックします。

NewImage

以下を設定し、「Next: Register Targets」をクリックします。

  • Target group -> Name: sample-react-ecs-app-target-1
  • Target group -> Target type: Instance
  • Health checks -> Path: 「/index.html」

NewImage

後でECSサービスを使ってインスタンスを登録するので、ここではインスタンスを選択せずに「Next: Review」をクリックします。

NewImage

「Create」をクリックします。

NewImage

「Close」をクリックして完了です。

NewImage

ESCサービスの作成

ここまではECS上のDockerコンテナを起動するためにタスクを手動で実行してきましたが、サービスを使うことでそれを自動化できます。

対象のクラスタで「Services」タブを選択し、「Create」をクリックします。

NewImage

以下を設定し、「Next step」をクリックします。

  • Launch type: EC2
  • Task Definition: sample-react-ecs-app-task
  • Service name: sample-react-ecs-app-service
  • Number of tasks: 2
  • Placement Template: AZ Balanced Spread

NewImage

以下を設定し、「Next step」をクリックします。

  • Load balancer type: Application Load Balancer
  • Load balancer name: sample-react-ecs-app-alb
  • Target group name: sample-react-es-app-target-1

NewImage

以下を設定し、「Next step」をクリックします。

  • Service Auto Scaling: Configure Service Auto Scaling to adjust your service’s desired count
  • Minimum number of tasks: 2
  • Desired number of tasks: 2 (コンテナ2つにしてみます)
  • Maximum number of tasks: 4
  • Automatic task scaling policies -> Policy name: sample-react-ecs-scaling-policy

NewImage

「Create Service」をクリックします。

NewImage

サービスが作成されました。「View Service」をクリックします。

NewImage

タスクが2つ実行されています。

NewImage

「Events」タブを選択すると自動で実行されたイベントが確認できます。ALBのターゲットに自動的にインスタンスが登録さていることが確認できます。

NewImage

アプリケーションの稼働確認

最後にALB経由でDockerコンテナのアプリケーションの稼働を確認してみましょう。

「Load Balancers」から、今回作成したALB(sample-react-ecs-app-alb)を選択し、DNS名をコピーします。

NewImage

ブラウザにDNS名を入力すると、Reactアプリケーションの画面が表示されました。

NewImage

これでAWS上で稼働したReactのDockerアプリケーションをALBを使って公開できることが確認できました。

最後に

いかがでしたか?これでECRとECSを使って、AWS上でDockerのイメージ管理やコンテナ運用ができるようになりましたね。Dockerアプリケーションをクラウド上でどんどん運用していきましょう。それでは。

環境

  • NodeJS: v11.0.0
  • create-react-app: 2.1.1
  • Docker: 18.06.1-ce, build e68fc7a
  • AWS CLI: aws-cli/1.16.40 Python/3.7.0 Darwin/18.2.0 botocore/1.12.30

カテゴリ : 技術 Tips & Tutorials タグ : aws, docker, ec2, ecr, ecs, react

2018年10月8日 By KD コメントを書く

Docker SwarmでDockerコンテナのオーケストレーション入門

Docker SwarmでDockerコンテナのオーケストレーション入門

アプリケーションをDockerコンテナとして、本番環境で稼働させるにはオーケストレーションツールは無くてはならないものです。今回は、Docker Swarmを使って、Dockerコンテナをオーケストレーションする方法を紹介します。

はじめに

Dockerコンテナを開発環境や実証実験で使う機会は圧倒的に増えてきました。そのおかげでDocker自体やDocker Composeを使いこなすエンジニアは増えました。次のステップとして、Dockerコンテナを本番環境に導入することを考えると思いますが、その場合はDockerコンテナのオーケストレーションを考える必要が出てきます。現状のDockerオーケストレーションツールのデファクトスターンダードはGoogle社のKubernetesですが、今回はDocker社がDockerネイティブとしてサポートしているSwarmを使う方法をDockerオーケストレーションの入門として紹介します。

Docker Machineとは?

Docker Machineとは、任意のホストの仮想環境上にDockerエンジンの実行環境を構築するプロビジョニングツールです。

例えば、個人の開発環境を考えると、Mac上でDockerコンテナを稼働させる場合、Docker for MacをインストールすることでDockerエンジンをローカルで実行し、そのDockerエンジン上でDockerコンテナを稼働させることになると思います。しかし、本番環境などMac以外でDockerコンテナを稼働させることを考えた場合はどうすればよいでしょうか?その答えとして、Dockerコンテナの実行環境であるDockerエンジンを持ち運び可能にすることで、好きなホスト上でDockerコンテナを実行可能にする仕組みがDocker Machineです。この仕組みにより、ドライバー(仮想環境の種類)を指定することで、VirtualBox上でもAWS上でもAzura上でも、好きなホストの仮想環境上でDockerエンジンを動かし、Dockerコンテナンを稼働させることができます。

Docker Swarmとは?

Docker Swarmとは、Dockerコンテナのオーケストレーションツールです。新しく入れるツールというのではなく、Dockerにネイティブで組み込まれており、Swarmモードをアクティブにすることで利用可能になります。

今回のメイントピックなので、細かい説明は抜きにして、次の章から手を動かしてい理解していきましょう。

Docker Swarmを使ってみよう!

概要

今回は、Swarm用のマネージャーノード1台、ワーカーノード2台の構成でDocker Machineを作り、Swarmのノード上にNginxのサービスをいくつか立ち上げてみましょう。

事前に、Swarmのノードの構成が書かれた公式ドキュメントや、Swarmのサービスの構成が書かれた公式ドキュメントあたりに目を通しておくと理解が深まります。

前提

以下がインストールされている必要があります。

  • Docker for Mac
  • VirtualBox

細かいバージョンは「環境」を参照してください。

Swarm用のマネージャーノードを作る

まずは、Docker Machineで「swarm-manager」という名前のノードを作り、Swarmモードを有効にします。Docker MachineのデフォルトのドライバーはVirtualBoxなので、ノードはVirtualBox上に作成されます。

$ docker-machine create swarm-manager
$ docker-machine ls
NAME            ACTIVE   DRIVER       STATE     URL                         SWARM   DOCKER        ERRORS
default         -        virtualbox   Stopped                                       Unknown
swarm-manager   -        virtualbox   Running   tcp://192.168.99.100:2376           v18.06.1-ce
$ eval $(docker-machine env swarm-manager)
$ docker-machine ls
NAME            ACTIVE   DRIVER       STATE     URL                         SWARM   DOCKER        ERRORS
default         -        virtualbox   Stopped                                       Unknown
swarm-manager   *        virtualbox   Running   tcp://192.168.99.100:2376           v18.06.1-ce
$ docker-machine ip swarm-manager
192.168.99.100
$ docker swarm init --advertise-addr 192.168.99.100
$ docker info | grep Swarm
Swarm: active
$ docker node ls
ID                            HOSTNAME            STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
jm20ptzjqptaqop9e9g1frv58 *   swarm-manager       Ready               Active              Leader              18.06.1-ce

「swarm-manager」ノードのSwarmがアクティブになり、Leaderになっていることが確認できます。これでマネージャーノードは完成です。

Swarm用のワーカーノードを作る

次に、ワーカーノードを2台(「swarm-wocker1」と「swarm-wocker2」)を作成し、Swarmのオーバーレイ・ネットワーク(ingressネットワーク)に追加します。追加したノードはSwarm内でルーティング・メッシュにより、自動的にロードバランスされます。

先に「swarm-manager」ノード上でワーカーノードを追加するためのトークンを取得します。

$ docker node ls
ID                            HOSTNAME            STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
jm20ptzjqptaqop9e9g1frv58 *   swarm-manager       Ready               Active              Leader              18.06.1-ce
$ docker swarm join-token worker
To add a worker to this swarm, run the following command:

    docker swarm join --token SWMTKN-1-398kt7tj5z33es0ek580gtz4r0d1xgm6yqqktczzzus1bxm9gy-3o2etc9uhs7pb96h67fnzqw73 192.168.99.100:2377

それから、ワーカーノードを作っていきます。

$ docker-machine create swarm-worker1
$ docker-machine create swarm-worker2
$ docker-machine ls
NAME            ACTIVE   DRIVER       STATE     URL                         SWARM   DOCKER        ERRORS
default         -        virtualbox   Stopped                                       Unknown
swarm-manager   *        virtualbox   Running   tcp://192.168.99.100:2376           v18.06.1-ce
swarm-worker1   -        virtualbox   Running   tcp://192.168.99.101:2376           v18.06.1-ce
swarm-worker2   -        virtualbox   Running   tcp://192.168.99.102:2376           v18.06.1-ce
$ eval $(docker-machine env swarm-worker1)
$ docker-machine ls
NAME            ACTIVE   DRIVER       STATE     URL                         SWARM   DOCKER        ERRORS
default         -        virtualbox   Stopped                                       Unknown
swarm-manager   -        virtualbox   Running   tcp://192.168.99.100:2376           v18.06.1-ce
swarm-worker1   *        virtualbox   Running   tcp://192.168.99.101:2376           v18.06.1-ce
swarm-worker2   -        virtualbox   Running   tcp://192.168.99.102:2376           v18.06.1-ce
$ docker swarm join --token SWMTKN-1-398kt7tj5z33es0ek580gtz4r0d1xgm6yqqktczzzus1bxm9gy-3o2etc9uhs7pb96h67fnzqw73 192.168.99.100:2377
This node joined a swarm as a worker.
$ eval $(docker-machine env swarm-worker2)
$ docker-machine ls
NAME            ACTIVE   DRIVER       STATE     URL                         SWARM   DOCKER        ERRORS
default         -        virtualbox   Stopped                                       Unknown
swarm-manager   -        virtualbox   Running   tcp://192.168.99.100:2376           v18.06.1-ce
swarm-worker1   -        virtualbox   Running   tcp://192.168.99.101:2376           v18.06.1-ce
swarm-worker2   *        virtualbox   Running   tcp://192.168.99.102:2376           v18.06.1-ce
$ docker swarm join --token SWMTKN-1-398kt7tj5z33es0ek580gtz4r0d1xgm6yqqktczzzus1bxm9gy-3o2etc9uhs7pb96h67fnzqw73 192.168.99.100:2377
This node joined a swarm as a worker.
$ eval $(docker-machine env swarm-manager)
$ docker-machine ls
NAME            ACTIVE   DRIVER       STATE     URL                         SWARM   DOCKER        ERRORS
default         -        virtualbox   Stopped                                       Unknown
swarm-manager   *        virtualbox   Running   tcp://192.168.99.100:2376           v18.06.1-ce
swarm-worker1   -        virtualbox   Running   tcp://192.168.99.101:2376           v18.06.1-ce
swarm-worker2   -        virtualbox   Running   tcp://192.168.99.102:2376           v18.06.1-ce
$ docker node ls
ID                            HOSTNAME            STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
vp63ef6ywgyqykiplzn24o9nq *   swarm-manager       Ready               Active              Leader              18.06.1-ce
kf8fsltttorlbqips470qnlvj     swarm-worker1       Ready               Active                                  18.06.1-ce
9vgc77yekm2fj72oq5x96f1ok     swarm-worker2       Ready               Active                                  18.06.1-ce

これで、「swarm-manager」というマネージャーノード1台、「swarm-worker1」と「swarm-worker2」のワーカーノード2台の構築が完了しました。

Swarmビジュアライザーを追加する

それでは、ノード上にサービスを、、、と行きたいところですが、その前にSwarmの構成を可視化するツールであるSwarmビジュアライザーを導入してみましょう。

$ docker-machine ls
NAME            ACTIVE   DRIVER       STATE     URL                         SWARM   DOCKER        ERRORS
default         -        virtualbox   Stopped                                       Unknown
swarm-manager   *        virtualbox   Running   tcp://192.168.99.100:2376           v18.06.1-ce
swarm-worker1   -        virtualbox   Running   tcp://192.168.99.101:2376           v18.06.1-ce
swarm-worker2   -        virtualbox   Running   tcp://192.168.99.102:2376           v18.06.1-ce
$ docker service create --name=viz --publish=8080:8080/tcp --constraint=node.role==manager --mount=type=bind,src=/var/run/docker.sock,dst=/var/run/docker.sock dockersamples/visualizer
$ docker container ls
CONTAINER ID        IMAGE                             COMMAND             CREATED              STATUS                        PORTS               NAMES
76d49f568d84        dockersamples/visualizer:latest   "npm start"         About a minute ago   Up About a minute (healthy)   8080/tcp            viz.1.nab0yu9vfz6312v9b85grwhej
$ docker service ls
ID                  NAME                MODE                REPLICAS            IMAGE                             PORTS
m9c4l9ggdhes        viz                 replicated          1/1                 dockersamples/visualizer:latest   *:8080->8080/tcp
$ docker-machine ip swarm-manager
192.168.99.100

それでは、「192.168.99.100:8080」にアクセスしてみましょう。

NewImage

構築したSwarmの3台のノードと、マネージャーノード上にSwarmビジュアライザーが「viz」という名前のサービスとして起動していることが可視化されています。

ちなみに、今回は「viz」というサービスとして起動しましたが、Swarmのサービスに含めたくない場合は、以下のように通常のコンテナとして起動することも可能です。

$ docker container run -d --name=viz --publish=8080:8080/tcp --mount=type=bind,src=/var/run/docker.sock,dst=/var/run/docker.sock dockersamples/visualizer

この場合はSwarmビジュアライザーにも表示されません。

Swarmのノード上でサービスを作成する

それでは、Nginxのサービスを5つ作成してみましょう。(厳密にはSwarmではノード上の1つのアプリケーションを「タスク」と呼び、それをグループ化したものを「サービス」と呼んでいますが、この記事では便宜上、1つのアプリケーションを一般的な意味でサービスと表現しています。)

$ docker service create -d --name web --publish 8000:80 --replicas 5 nginx
$ docker service ls
ID                  NAME                MODE                REPLICAS            IMAGE                             PORTS
m9c4l9ggdhes        viz                 replicated          1/1                 dockersamples/visualizer:latest   *:8080->8080/tcp
dq4pntmf9eej        web                 replicated          5/5                 nginx:latest                      *:8000->80/tcp
$ docker service ps web
ID                  NAME                IMAGE               NODE                DESIRED STATE       CURRENT STATE            ERROR               PORTS
e8p6ojsguah7        web.1               nginx:latest        swarm-worker1       Running             Running 1 minutes ago
y9honj8v0rzj        web.2               nginx:latest        swarm-worker2       Running             Running 1 minutes ago
sr6e97b32pc2        web.3               nginx:latest        swarm-manager       Running             Running 2 minutes ago
5vaipy05i88i        web.4               nginx:latest        swarm-worker1       Running             Running 1 minutes ago
i7innmnribly        web.5               nginx:latest        swarm-worker2       Running             Running 1 minutes ago

Swarmビジュアライザーで確認してみましょう。

NewImage

5つの「web」というサービスが各ノードに割り振られて作成され、稼働しています。

各ノードのIPを確認して、Nginxが各ノード上で動いているかも確認してみましょう。

$ docker-machine ls
NAME            ACTIVE   DRIVER       STATE     URL                         SWARM   DOCKER        ERRORS
default         -        virtualbox   Stopped                                       Unknown
swarm-manager   *        virtualbox   Running   tcp://192.168.99.100:2376           v18.06.1-ce
swarm-worker1   -        virtualbox   Running   tcp://192.168.99.101:2376           v18.06.1-ce
swarm-worker2   -        virtualbox   Running   tcp://192.168.99.102:2376           v18.06.1-ce
$ docker-machine ip swarm-manager
192.168.99.100
$ docker-machine ip swarm-worker1
192.168.99.101
$ docker-machine ip swarm-worker2
192.168.99.102

「192.168.99.100:8000」にアクセスしてみましょう。

NewImage

「192.168.99.101:8000」にアクセスしてみましょう。

NewImage

「192.168.99.102:8000」にアクセスしてみましょう。

NewImage

全てのノード上でNginxのサービスが稼働していることが確認できました。

サービスのスケールを変更する

docker service scaleコマンドにより、サービスの数を自由に変更できます。今回は、5つある「web」のサービスを1つにしてみましょう。

$ docker service scale web=1
$ docker service ls
ID                  NAME                MODE                REPLICAS            IMAGE                             PORTS
m9c4l9ggdhes        viz                 replicated          1/1                 dockersamples/visualizer:latest   *:8080->8080/tcp
dq4pntmf9eej        web                 replicated          1/1                 nginx:latest                      *:8000->80/tcp
$ docker service ps web
ID                  NAME                IMAGE               NODE                DESIRED STATE       CURRENT STATE            ERROR               PORTS
e8p6ojsguah7        web.1               nginx:latest        swarm-worker1       Running             Running 29 minutes ago

Swarmビジュアライザーで見てみましょう。

NewImage

サービスが1つに変更されていることが確認できました。

この状態で、ブラウザで「192.168.99.100:8000」、「192.168.99.101:8000」、「192.168.99.102:8000」にアクセスすると、全てが同じサービスにルーティングされ、Nginxの画面が表示されます。ルーティング・メッシュが作成去れているからですね。

サービスを削除する

最後に、サービスを削除してみましょう。

$ docker service rm web
$ docker service ls
ID                  NAME                MODE                REPLICAS            IMAGE                             PORTS
m9c4l9ggdhes        viz                 replicated          1/1                 dockersamples/visualizer:latest   *:8080->8080/tcp

Swarmビジュアライザーで確認します。

NewImage

「web」のサービスはきれいに削除されています。

この状態で、ブラウザで「192.168.99.100:8000」、「192.168.99.101:8000」、「192.168.99.102:8000」にアクセスすると、当然「このサイトにアクセスできません」と表示されます。

これでSwarmによるDockerオーケストレーションの基本は完了です。

おまけ(AWSのEC2上でSwarmを実行する方法)

ここまでは、ローカル環境で実施してきましたが、一歩進めてAWSのEC2上で同じことを実行してみましょう。

AWSのEC2上にSwarmのノードを構築する

基本は同じで、Docker MachineのドライバーにAmazon EC2を指定する(–driver amazonec2)だけでOKです。注意点としては、マネージャーノードは「2377」のポートを開放する必要があります。また、今回はSwarmビジュアライザー用に「8080」ポート、Webサーバ用に「8000」ポートを開放します。

$ aws configure
$ docker-machine create --driver amazonec2 --amazonec2-open-port 2377 --amazonec2-open-port 8080 --amazonec2-open-port 8000 --amazonec2-region us-east-1 aws-swarm-manager1
$ docker-machine create --driver amazonec2 --amazonec2-open-port 8000 --amazonec2-region us-east-1 aws-swarm-worker1
$ docker-machine create --driver amazonec2 --amazonec2-open-port 8000 --amazonec2-region us-east-1 aws-swarm-worker2
$ docker-machine ls
NAME                 ACTIVE   DRIVER       STATE     URL                         SWARM   DOCKER        ERRORS
aws-swarm-manager1   -        amazonec2    Running   tcp://52.90.91.140:2376             v18.06.1-ce
aws-swarm-worker1    *        amazonec2    Running   tcp://54.227.204.32:2376            v18.06.1-ce
aws-swarm-worker2    -        amazonec2    Running   tcp://54.172.255.110:2376           v18.06.1-ce
$ eval $(docker-machine env aws-swarm-manager1)
$ docker-machine ip aws-swarm-manager1
52.90.91.140
$ docker swarm init --advertise-addr 52.90.91.140
Swarm initialized: current node (q7igg1nnai34e41qrcaao8thq) is now a manager.
To add a worker to this swarm, run the following command:
docker swarm join --token SWMTKN-1-1vsrzboersaqygif1lo58n00390bp6d6wnkoukn1q7ff47gsm4-23utao937z0gmrz7hpher10lw 52.90.91.140:2377
To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.
$ eval $(docker-machine env aws-swarm-worker1)
$ docker swarm join --token SWMTKN-1-1vsrzboersaqygif1lo58n00390bp6d6wnkoukn1q7ff47gsm4-23utao937z0gmrz7hpher10lw 52.90.91.140:2377
This node joined a swarm as a worker.
$ eval $(docker-machine env aws-swarm-worker2)
$ docker swarm join --token SWMTKN-1-1vsrzboersaqygif1lo58n00390bp6d6wnkoukn1q7ff47gsm4-23utao937z0gmrz7hpher10lw 52.90.91.140:2377
This node joined a swarm as a worker.
$ eval $(docker-machine env aws-swarm-manager1)
$ docker-machine ls
NAME                 ACTIVE   DRIVER       STATE     URL                         SWARM   DOCKER        ERRORS
aws-swarm-manager1   *        amazonec2    Running   tcp://52.90.91.140:2376             v18.06.1-ce
aws-swarm-worker1    -        amazonec2    Running   tcp://54.227.204.32:2376            v18.06.1-ce
aws-swarm-worker2    -        amazonec2    Running   tcp://54.172.255.110:2376           v18.06.1-ce
$ docker node ls
ID                            HOSTNAME             STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
q7igg1nnai34e41qrcaao8thq *   aws-swarm-manager1   Ready               Active              Leader              18.06.1-ce
28m2usguvsbp5720ny9xee1r7     aws-swarm-worker1    Ready               Active                                  18.06.1-ce
qrn9hes6jkg52n7n38xsu35sf     aws-swarm-worker2    Ready               Active                                  18.06.1-ce

AWSコンソールからEC2インスタンスの状態を確認してみましょう。

NewImage

マネージャーノード1台、ワーカーノード2台がEC2インスタンスとして作成されていますね。

続いて、Security Groupも確認してみましょう。

NewImage

想定通り、「2377」、「8080」、「8000」のポートが開放されています。「2376」ポートはDocker Machineがデフォルトで使っているポートです。

Swarmビジュアライザーを追加する

先ほどと同じくSwarmビジュアライザーをサービスとして追加します。

$ docker node ls
ID                            HOSTNAME             STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
q7igg1nnai34e41qrcaao8thq *   aws-swarm-manager1   Ready               Active              Leader              18.06.1-ce
28m2usguvsbp5720ny9xee1r7     aws-swarm-worker1    Ready               Active                                  18.06.1-ce
qrn9hes6jkg52n7n38xsu35sf     aws-swarm-worker2    Ready               Active                                  18.06.1-ce
$ docker service create --name=viz --publish=8080:8080/tcp --constraint=node.role==manager --mount=type=bind,src=/var/run/docker.sock,dst=/var/run/docker.sock dockersamples/visualizer
aqp0ge6qhwirizc0cb9221gwd
overall progress: 1 out of 1 tasks
1/1: running   [==================================================>]
verify: Service converged
$ docker-machine ip aws-swarm-manager1
52.90.91.140

「52.90.91.140:8080」にアクセスしましょう。

NewImage

Swarmビジュアライザーが稼働していることが確認できました。

サービスを作成する

先ほどと同じく、Nginxのサービスを5つ作成してみましょう。

$ docker service create -d --name web --publish 8000:80 --replicas 5 nginx
pkbfqjik6c8kfquwsmjckesla
$ docker service ls
ID                  NAME                MODE                REPLICAS            IMAGE                             PORTS
aqp0ge6qhwir        viz                 replicated          1/1                 dockersamples/visualizer:latest   *:8080->8080/tcp
vzhv0xxfat15        web                 replicated          5/5                 nginx:latest                      *:8000->80/tcp
$ docker service ps web
ID                  NAME                IMAGE               NODE                 DESIRED STATE       CURRENT STATE           ERROR               PORTS
i4bdnxib2e3b        web.1               nginx:latest        aws-swarm-worker2    Running             Running 1 minutes ago
o00x9iigopac        web.2               nginx:latest        aws-swarm-manager1   Running             Running 1 minutes ago
gc6wo6rxtgep        web.3               nginx:latest        aws-swarm-worker1    Running             Running 1 minutes ago
opi12tbgytk6        web.4               nginx:latest        aws-swarm-worker2    Running             Running 1 minutes ago
he0qy7w5a5d7        web.5               nginx:latest        aws-swarm-worker1    Running             Running 1 minutes ago
$ docker-machine ip aws-swarm-manager1
52.90.91.140

「52.90.91.140:8080」にアクセスしましょう。

NewImage

サービスが想定どおりに稼働している事がわかります。

ブラウザからサービスを表示してみましょう。

$ docker-machine ip aws-swarm-manager1
52.90.91.140
$ docker-machine ip aws-swarm-worker1
54.227.204.32
$ docker-machine ip aws-swarm-worker2
54.172.255.110

「52.90.91.140:8000」にアクセスしましょう。

NewImage

「54.227.204.32:8000」にアクセスしましょう。

NewImage

「54.172.255.110:8000」にアクセスしましょう。

NewImage

問題なく動いていますね。

クリーンアップ

最後の最後にサービスとAWSのEC2上のDocker Machineをきれいに削除して終わりにしましょう。

$ docker service ls
ID                  NAME                MODE                REPLICAS            IMAGE                             PORTS
aqp0ge6qhwir        viz                 replicated          1/1                 dockersamples/visualizer:latest   *:8080->8080/tcp
vzhv0xxfat15        web                 replicated          5/5                 nginx:latest                      *:8000->80/tcp
$ docker service rm viz web
viz
web
$ docker service ls
ID                  NAME                MODE                REPLICAS            IMAGE               PORTS
$ docker node ls
ID                            HOSTNAME             STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
q7igg1nnai34e41qrcaao8thq *   aws-swarm-manager1   Ready               Active              Leader              18.06.1-ce
28m2usguvsbp5720ny9xee1r7     aws-swarm-worker1    Ready               Active                                  18.06.1-ce
qrn9hes6jkg52n7n38xsu35sf     aws-swarm-worker2    Ready               Active                                  18.06.1-ce
$ docker-machine ls
NAME                 ACTIVE   DRIVER       STATE     URL                         SWARM   DOCKER        ERRORS
aws-swarm-manager1   *        amazonec2    Running   tcp://52.90.91.140:2376             v18.06.1-ce
aws-swarm-worker1    -        amazonec2    Running   tcp://54.227.204.32:2376            v18.06.1-ce
aws-swarm-worker2    -        amazonec2    Running   tcp://54.172.255.110:2376           v18.06.1-ce
$ docker-machine rm aws-swarm-manager1 aws-swarm-worker1 aws-swarm-worker2
About to remove aws-swarm-manager1, aws-swarm-worker1, aws-swarm-worker2
WARNING: This action will delete both local reference and remote instance.
Are you sure? (y/n): y
Successfully removed aws-swarm-manager1
Successfully removed aws-swarm-worker1
Successfully removed aws-swarm-worker2
$ docker-machine ls
NAME            ACTIVE   DRIVER       STATE     URL   SWARM   DOCKER    ERRORS

これでAWSのEC2上のインスタンスもきれいに削除されました。自動で作成されていたKey PairsやNetwork Interfacesも一緒に削除されますが、docker-machineという名前のSecurity Groupは残るので気をつけましょう。

最後に

いかがでしたか?これでDocker Swarmを使って、Dockerコンテナをオーケストレーションできるようになったことでしょう。それでは。

環境

  • PC: macOS High Sierra 10.13.6
  • Docker: 18.06.1-ce, build e68fc7a
  • Docker Machine: 0.15.0, build b48dc28d
  • VirtualBox: 5.2.18r124319
  • AWS CLI: aws-cli/1.16.20 Python/3.7.0 Darwin/17.7.0 botocore/1.12.10

カテゴリ : 技術 Tips & Tutorials タグ : aws, awscli, docker, docker-machine, docker-orchestration, ec2, swarm

2018年7月27日 By KD コメントを書く

MySQLで「ERROR 2003 (HY000): Can’t connect to MySQL server」と怒られた時の対処法

MySQLで「ERROR 2003 (HY000): Can’t connect to MySQL server」と怒られた時の対処法

WordPressを自前で構築する場合にMySQLの接続がうまくいかないことはよくある事象です。今回は、MySQLとの接続で「ERROR 2003 (HY000): Can’t connect to MySQL server」というエラーが発生した場合の対処法を紹介します。

はじめに

この記事に辿り着いているということは、MySQLの設定を終えたつもりで、外部のホストからMySQLのサーバ(X.X.X.X)にログインしようとした時に以下のエラーが出たのではないでしょうか。

$ mysql -h X.X.X.X -P 3306 -u wordpress -p
Enter password:
ERROR 2003 (HY000): Can't connect to MySQL server on 'X.X.X.X' (111)

今回はAWS上に、WordPress用のEC2インスタンスとMySQL用のEC2インスタンスを構築した前提で、「ERROR 2003 (HY000): Can’t connect to MySQL server」エラーが発生した場合の対処法を紹介します。

対処法

考えられる原因は複数あるので、原因を一つ一つ潰す形で対処しましょう。

EC2のSecurity Groupの設定に問題は無いか?(AWS限定の問題)

EC2インスタンスはSecurity Group(仮想的なファイアーウォール)によって接続可能なIPおよびポートを許可しています。サーバーの構成にもよるのですが、WordPress用のEC2インスタンスからMySQLのEC2インスタンスにポート3306で接続したいとすると、MySQL用のEC2インスタンスのSecurity GroupのInboundの設定で、WordPress用のEC2インスタンスのIPからTCPの3306ポートの接続を許可してある必要があります。

以下はTCPの3306ポートを全てのIPに対して許可する場合のInboundの設定です。

Ec2 sg mysql

MySQLに慣れており、EC2に慣れていない人は、だいたいSecurity Groupの設定ミスが原因です。確認してみましょう。

EC2内のファイアーウォールの設定に問題は無いか?

単にAWSが提供しているイメージからEC2インスタンスを作っただけの場合は関係ありませんが、その後に自前でiptablesなどでファイアーウォールを設定した場合は、それが原因の可能性があります。設定を見直しましょう。

MySQLのポートは正しいか?

MySQLのデフォルトのポートは3306ですが、変更した覚えがあればそれが原因の可能性があります。以下のように確認してみましょう。

mysql> show variables like 'port';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| port          | 3306  |
+---------------+-------+

3306を想定しており、上記のように一致してればOKです。

MySQLに接続できるホスト設定に問題は無いか?

仮にwordpressというユーザを作ったとして、そのユーザがどのホストから接続できるようになっているかを確認しましょう。デフォルトでは「localhost」(ループバックアドレスなので同じホスト内のみ接続可能)となっているので、変更した覚えがなければそれが原因です。

mysql> select user, host from mysql.user;
+------------------+-----------+
| user             | host      |
+------------------+-----------+
| wordpress        | %         |
| debian-sys-maint | localhost |
| mysql.session    | localhost |
| mysql.sys        | localhost |
| root             | localhost |
+------------------+-----------+

「wordpress@”%”」の設定となっている場合は、全てのホストからwordpressユーザで接続できます。

MySQLの設定ファイルに問題は無いか?

「/etc/mysql/mysql.conf.d/mysqld.cnf」ファイルのbind-addressも確認しましょう。デフォルトでは「127.0.0.1」(ループバックアドレスなので同じホスト内のみ接続可能)となっているので、接続したいホストに応じてに変更する必要があります。例えば「0.0.0.0」に設定すれば全てのホストからの接続を許可できます。

$ sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf
...
#bind-address            = 127.0.0.1
bind-address            = 0.0.0.0
...

ここまでくればエラーは解決したはずです。

おまけ

外部ホストからのMySQLの接続が成功したとして、WordPressの画面を表示しようとした場合に「Error establishing a database connection」というエラーが発生している場合があります。

このエラーの意味はWordPressとMySQLとの接続に問題があるという意味ですが、この記事で解決したエラーがなくなっている状態で発生している場合は原因はおそらく一つです。WordPressのDB_HOSTの設定を見直しましょう。

$ vi /var/www/wordpress/wp-config.php
...
define('DB_HOST', 'X.X.X.X');
...

今回の場合は、明示的にMySQL用のEC2インスタンスのプライベートIPを指定してあげる必要があります。

最後に

いかがでしたか?これでMySQLの接続問題は解決できたことでしょう。また、AWSを使っていなくても、AWS以外の部分はそのまま解決策になると思いますので、検索してこの記事にたどり着いた人は試して見て下さい。それでは。

カテゴリ : 技術 Tips & Tutorials タグ : aws, ec2, mysql, sg, wordpress

  • 1
  • 2
  • 次のページ »

ブログ更新情報や海外の関連情報などを配信する無料メルマガ

Sponsored Links

About Author

KD

世界を旅し日本を愛するエンジニア。大学でコンピュータサイエンスの楽しさを学び、日本の大手IT企業で働く中で、新しい技術やスケールするビジネスが北米にある事に気づく。世界に挑戦するための最大の壁が英語であったため、フィリピン留学およびカナダ留学を経て英語を上達させた。現在は日本在住でエンジニアとして働きつつ、次の挑戦に備えて世界の動向を注視している。挑戦に終わりはない。このブログでは、エンジニアやデザイナー向けの技術情報から、海外に留学したい人向けの留学情報、海外に興味がある人向けの海外旅行情報など、有益な情報を提供しています。

https://casualdevelopers.com/

最近の投稿

  • 2020年JS周辺のバックエンド寄りの注目技術!ネクストNodeJSの「Deno」と分散型パッケージレジストリの「Entropic」の紹介

    2020年JS周辺のバックエンド寄りの注目技術!ネクストNodeJSの「Deno」と分散型パッケージレジストリの「Entropic」の紹介

    2020年1月13日
  • 今さら聞けないJavaによる関数型プログラミング入門 ~ラムダ式、ストリーム、関数型インターフェース~

    今さら聞けないJavaによる関数型プログラミング入門 ~ラムダ式、ストリーム、関数型インターフェース~

    2019年11月4日
  • ReactのためのEslintおよびPrettierの設定方法 ~Airbnb JavaScript Style Guideの適用~

    ReactのためのEslintおよびPrettierの設定方法 ~Airbnb JavaScript Style Guideの適用~

    2019年10月30日
  • BashからZshに移行する方法(Mac編)

    BashからZshに移行する方法(Mac編)

    2019年10月21日
  • Create React Appを使わないでゼロからReactの開発環境を構築する方法(Webpack/Docker編)

    Create React Appを使わないでゼロからReactの開発環境を構築する方法(Webpack/Docker編)

    2019年9月30日

カテゴリ

  • 技術 Tips & Tutorials (100)
  • 技術塾 (6)
  • ライフハック (26)
  • 海外留学 (12)
  • 英語学習 (3)
  • コラム (6)

アーカイブ

最高の学習のために

人気記事ランキング

  • MySQLで「ERROR 2003 (HY000): Can't connect to MySQL server」と怒られた時の対処法
    MySQLで「ERROR 2003 (HY000): Can't connect to MySQL server」と怒られた時の対処法
  • Jupyter Notebookで「The kernel appears to have died. It will restart automatically.」というエラーが出た場合の原因と対処法
    Jupyter Notebookで「The kernel appears to have died. It will restart automatically.」というエラーが出た場合の原因と対処法
  • SAKURAのメールボックスで独自ドメインのメールを設定し、Gmail経由で送受信する方法
    SAKURAのメールボックスで独自ドメインのメールを設定し、Gmail経由で送受信する方法
  • バンクーバー留学豆知識:バンクーバーのATMで日本の銀行のキャッシュカードを使ってお得にお金を引き出す方法
    バンクーバー留学豆知識:バンクーバーのATMで日本の銀行のキャッシュカードを使ってお得にお金を引き出す方法
  • Amazon EC2インスタンスにSSHできなくなった時の対処法
    Amazon EC2インスタンスにSSHできなくなった時の対処法
  • Expressで「Cannot set headers after they are sent to the client」と怒られた時の対処法
    Expressで「Cannot set headers after they are sent to the client」と怒られた時の対処法
  • TumblrからWordPressにブログ移転する最適な方法
    TumblrからWordPressにブログ移転する最適な方法
  • SpringBootのProfile毎にプロパティを使い分ける3つの方法
    SpringBootのProfile毎にプロパティを使い分ける3つの方法
  • 今さら聞けないJavaによる関数型プログラミング入門 ~ラムダ式、ストリーム、関数型インターフェース~
    今さら聞けないJavaによる関数型プログラミング入門 ~ラムダ式、ストリーム、関数型インターフェース~
  • バンクーバー留学豆知識: バンクーバーのカジノを攻略せよ!必勝法を公開します!
    バンクーバー留学豆知識: バンクーバーのカジノを攻略せよ!必勝法を公開します!

Bitcoin寄付 / BTC Donation

Bitcoinを寄付しよう

BTC
Select Payment Method
Personal Info

Donation Total: BTC 0.0010

このブログの運営のためにBitcoinでの寄付を募集しています。お気持ち程度の寄付を頂けると管理者の励みになります。

Bitcoin寄付について知りたい方はこちらの記事へ

ビットコイン取引ならここ

  • ホーム
  • 技術 Tips & Tutorials
  • 技術塾
  • ライフハック
  • 海外留学
  • 英語学習
  • コラム
  • サイトマップ
  • タグ一覧
  • プライバシーポリシー
  • お問い合わせ

Copyright © 2023 KD - Casual Developers Notes