devops | Casual Developers Notes

2018年12月31日 By Keid Leave a Comment

爆速でJenkinsをマスターしよう(Slack通知編) ~ パイプラインのビルド失敗時にSlackで通知する方法 ~

継続的インテグレーションの自動ビルド失敗時に開発者に通知する手段はメールだけではありません。今回は、Jenkinsのビルドが失敗した場合にSlack通知を自動で行う方法を紹介します。

はじめに

JenkinsなどのCI/CDツールで自動ビルドが失敗した場合、開発者にビルド失敗を迅速に通知する必要があります。通知する手段としては、昔からあるメール通知は当然として、メッセンジャーで通知する方法が今では一般的です。メッセンジャーとしてはHipChatとSlackがメジャーです。

今回は、Jenkinsのパイプラインジョブにおいて、ビルドが失敗した場合に、Slackで通知する方法を紹介します。

前提

以下の準備が完了している必要があります。

Jenkinsが構築済みであること
Jenkins内でDockerが実行可能であること
GitHubのアカウントがあること
Slackのアカウントがあること

このやり方がわからない場合は以前の記事「爆速でJenkinsをマスターしよう(Docker編)」を参照してください。

また、ビルド失敗を検証するサンプルアプリケーションとして、以前の記事「爆速でJenkinsをマスターしよう(メール通知編)」で作成したものを使うので必要に応じて参照してください。

Slackのチャンネル作成と設定

Slackのチャンネル作成

任意のチャンネル名(今回は「#alerts」)を入力し、「チャンネルを作成する」をクリックします。

このチャンネルはSlackの通知を受け取るチャンネルとして使います。

SlackのWebhook用のアプリの追加

「App 管理」をクリックします。

「webhook」でアプリを検索して「Incoming Webhook」クリックします。

「設定を追加」をクリックします。

チャンネルに先程作成したチャンネル名(今回は「#alerts」)を選択し、「Incoming Webhook インテグレーションの追加」をクリックします。

これでアプリの追加は完了です。

「Webhook URL」が発行されていますね。

これを以下の3つの情報としてJenkinsに設定します。

Team Subdomain
Base URL
Secret text

メモしておきましょう。

JenkinsのSlack通知用の設定

Slack用のプラグインを入れる

「Jenkinsの管理」から「プラグインの管理」をクリックします。

Slack通知用のプラグイン「Slack Notification」にチェックを入れて、「ダウンロードして再起動後にインストール」をクリックします。

Jenkinsの再起動が完了すればOKです。

SlackのWebhookの認証情報の設定

Slackで設定したWebhookの情報を元に、Jenkinsに認証情報を設定します。

「認証情報」から「Jenkins」をクリックします。

「グローバルドメイン」の「Add credentials」をクリックします。

「種類」に「Secret text」を選択し、「Secret」にWebhookのSecret textを入力し、IDに任意の名前(今回は「slack-webhook-url-credentials」)を付けて、「保存」をクリックします。

認証情報が追加されていればOKです。

大丈夫ですね。

Slack通知用の設定

JenkinsにSlack通知の設定を追加します。

「Jenkinsの管理」から「システムの設定」をクリックします。

「Global Slack Notifier Setting」から、「Base URL」と「Team Subdomain」にSlackの情報を入力し、「Integration Token Credential ID」に先程作成した認証情報(slack-webhook-url-credentials)を選択します。

「保存」をクリックすれば完了です。

Slack通知用のパイプラインの設定ファイル作成

今回は以前の「爆速でJenkinsをマスターしよう(メール通知編)」で準備したビルドが失敗するサンプルアプリケーションをベースにして、設定ファイルを追加することにしましょう。

ベースを作る

以前作ったプロジェクトをクローンし、新しくJenkinfileを追加します。

$ git clone https://github.com/{your-github-account}/devops_fail_build_nodejs.git
$ touch Jenkinsfile.slack

「{your-github-account}」は自分のGitHubアカウント名に置き換えてください。

Jenkinsのパイプラインの設定ファイルの作成

Jenkins.slack

今回はビルド失敗時に、Slackに赤色でジョブ名、ジョブ番号、ジョブURLを送信してみましょう。

node {
  def app

  try {
    stage('Clone repository') {
      checkout scm
    }

    stage('Build image') {
      app = docker.build('{your-github-account}/devops_fail_build_nodejs')
    }

    stage('Test') {
      app.inside {
        sh 'npm install --only=dev'
        sh 'npm test'
      }
    }
  } catch(error) {
    currentBuild.result = "FAILURE";

    slackSend (color: '#FF0000', message: "FAILED: Job '${env.JOB_NAME} [${env.BUILD_NUMBER}]' (${env.BUILD_URL})")

    throw error;
  }
}

GitHubにPushしましょう。

$ git add .
$ git commit -m 'Add jenkinsfile for slack notification'
$ git push origin master

これで準備は整いました。

Slack通知の動作確認

最後にJenkinsのパイプラインのビルド失敗時にSlack通知が動作することを確認しましょう。

パイプラインジョブを作る

「新規ジョブ作成」をクリックします。

任意のジョブ名(今回は「slack_notification」)を入力し、「パイプライン」を選択し、「OK」をクリックします。

「パイプライン」から「Pipeline script from SCM」を選択して、「リポジトリURL」を入力し、「Script Path」には先程作成した「Jenkinsfile.slack」を指定します。

「保存」をクリックすればジョブ作成は完了です。

失敗するビルドを実行し、Slack通知を確認する

いよいよビルドしてみましょう。

「ビルド実行」をクリックします。

想定通りビルドが失敗しました。ビルド番号をクリックして出力結果を確認してみましょう。

「Console Output」を見てみましょう。

テストが失敗し、Slackに情報が送信されています。

それでは、Slack側も確認しましょう。

SlackにJenkinsからビルド失敗のメッセージがビルド結果ページのURL付きで届いています。

OKですね。

最後に

いかがでしたか？これでJenkinsのパイプラインのビルド失敗時にSlackで開発者に通知することができるようになったことでしょう。メールよりもSlackの方が迅速に連携が取れるので、より効率的に継続的インテグレーションが実現できますね。では。

環境

Jenkins: 2.151

2018年12月17日 By Keid Leave a Comment

爆速でJenkinsをマスターしよう(メール通知編) ~ パイプラインのビルド失敗時にメールで通知する方法 ~

継続的インテグレーションのプロセスにおいて、自動ビルド失敗時に開発者に通知する仕組みは不可欠です。今回は、Jenkinsのビルドが失敗した場合にメール通知を自動で行う方法を紹介します。

はじめに

JenkinsなどのCI/CDツールで自動ビルドが失敗した場合、開発者にできるだけ早く問題を通知し、ビルドが成功するようにすぐに故障を改修するように促す仕組みは、継続的なインテグレーションのプロセスを健全に保つためになくてはなりません。そのために、開発者へ通知する仕組みは重要です。

今回は、Jenkinsのパイプラインジョブにおいて、ビルドが失敗した場合に、メールで通知する方法を紹介します。

前提

以下の準備が完了している必要があります。

Jenkinsが構築済みであること
Jenkins内でDockerが実行可能であること
GitHubのアカウントがあること

このやり方がわからない場合は以前の記事「爆速でJenkinsをマスターしよう(Docker編)」を参照してください。

Mailtrapのアカウント作成

今回はテストメール用のSMTPサーバとしてMailtrapを使用します。それではアカウントを作成していきましょう。

「Sign up Now」をクリックします。

GitHubでサインインします。(もちろん、Googleアカウントやメールでサインインしても問題ありません)

「Authorize railsware」をクリックします。

これで無料のテスト用メールアカウントが作成されました。

「SMTP Settings」の「SMTP」の箇所をJenkinsに設定します。

Jenkinsのメールの設定

拡張メール用のプラグインを入れる

Jenkinsでパイプラインからメールを送信する場合はプラグインのインストールが必要です。

「Jenkinsの管理」から「プラグインの管理」をクリックします。

拡張メール用のプラグイン「Email Extension Plugin」がインストールされていることを確認します。推奨設定でJenkinsをセットアップした場合はデフォルトでインストールされているはずですが、インストールされていなればインストールしましょう。

拡張メールの設定

Jenkinsに拡張メールの設定をしましょう。

「Jenkins管理」から「システムの設定」をクリックします。

「拡張Email通知」の以下の項目にMailtrapのSMTPの内容を設定します。

SMTPサーバー
SMTP認証のユーザ名とパスワード
SMTPポート

「保存」をクリックしたら完了です。

ビルド失敗用のサンプルアプリケーション作成

今回はNodeJSのDockerアプリケーションの自動テストした場合にメール通知を送信するので、そのために必ず失敗するDockerアプリケーションを作ります。

ベースを作る

必要なフォルダとファイルを作成し、パッケージをインストールします。

$ mkdir devops_fail_build_nodejs
$ cd devops_fail_build_nodejs/
$ npm init -y
$ npm i -D jest
$ mkdir src
$ touch src/index.js
$ touch src/utils.js
$ mkdir test
$ touch test/utils.spec.js

実装する

簡単なプログラムを実装しましょう。

index.js

const { greeting } = require('./utils');

const name = 'Keid';
console.log(greeting(name));

utils.js

const greeting = name => `Good morning ${name}`;

module.exports = { greeting };

utils.spec.js

ここであえて失敗するテストを書きます。

const { greeting } = require('../src/utils');

describe('utils test', () => {
  describe('greeting fucntion test', () => {
    test('should return a correct message', () => {
      expect(greeting('Katharine')).toBe('Hello Katharine');
    });
  });
});

package.json

...
  "scripts": {
    "start": "node src/index",
    "test": "jest"
  },
...

Dockerfile

FROM node:11-alpine

WORKDIR /app

COPY package.json ./
COPY package-lock.json ./
RUN npm install

COPY ./ ./

CMD npm start

完成です。

メール通知用のパイプラインの設定ファイル作成

ベースを作る

$ pwd
/Users/you/devops_fail_build_nodejs
$ touch Jenkinsfile
$ tree -I node_modules
.
├── Dockerfile
├── Jenkinsfile
├── package-lock.json
├── package.json
├── src
│   ├── index.js
│   └── utils.js
└── test
    └── utils.spec.js

パイプラインの設定ファイルを作る

Jenkinsfile

node {
  def app
  def to = emailextrecipients([
          [$class: 'CulpritsRecipientProvider'],
          [$class: 'DevelopersRecipientProvider'],
          [$class: 'RequesterRecipientProvider']
  ])

  try {
  stage('Clone repository') {
    checkout scm
  }

  stage('Build image') {
    app = docker.build('{your-github-account}/devops_fail_build_nodejs')
  }

  stage('Test') {
    app.inside {
      sh 'npm install --only=dev'
      sh 'npm test'
    }
  } catch(error) {
    currentBuild.result = "FAILURE";

    def subject = "${env.JOB_NAME} - Build #${env.BUILD_NUMBER} ${currentBuild.result}"
    def content = '${JELLY_SCRIPT,template="html"}'

    if(to != null && !to.isEmpty()) {
      emailext(body: content, mimeType: 'text/html',
         replyTo: '$DEFAULT_REPLYTO', subject: subject,
         to: to, attachLog: true )
    }

    throw error;
  }
}

「{your-github-account}」は自分のGitHubアカウントに置き換えてください。

GitHubにPushする

GitHubにサンプルアプリケーションをPushしておきましょう。

GitHubにリポジトリを作ります。

GitHubにPushします。

$ git init
$ touch .gitignore
$ echo 'node_modules/' > .gitignore
$ git add .
$ git commit -m 'initial commit'
$ git remote add origin https://github.com/{your-github-account}/devops_fail_build_nodejs.git
$ git push -u origin master

「{your-github-account}」は自分のGitHubアカウントに置き換えてください。

メール通知の動作確認

それでは、パイプラインのビルドが失敗した時にメール通知が来ることを確認しましょう。

パイプラインジョブを作る

ホーム画面から「新規ジョブ作成」をクリックします。

任意のジョブ名(今回は「email_notification」)を入力し、「パイプライン」を選択し、「OK」をクリックします。

「パイプライン」から「Pipeline script from SCM」を選択し、「リポジトリURL」にGitHubに先程PushしたリポジトリのURLを入力します。

「保存」をクリックすればジョブ作成が完了です。

失敗するビルドを実行し、メール通知を確認する

「ビルド実行」をクリックします。

想定通りビルドが失敗しました。ビルド番号をクリックしてみましょう。

「Console Output」をクリックします。

テストが失敗し、メールが送られていることが確認できます。

Mailtrapの画面を見てみましょう。

ビルド失敗のメールが届いています。

これでメール通知が完了しました。

最後に

いかがでしたか？これでJenkinsでビルド失敗時にメール通知ができるようになりましたね。継続的インテグレーションを加速させていきましょう。それでは。

環境

Jenkins: 2.151

2018年12月3日 By Keid Leave a Comment

爆速でJenkinsをマスターしよう(Docker編) ~ JenkinsコンテナへのDockerインストール方法からJob DSL、Jenkins Pipelineまで ~

Docker上でアプリケーション開発から運用まで完結させる開発スタイルは今まさに求められています。今回はDocker前提としてDevOpsのCI/CDを実現させるために、JenkinsにDockerをインストールしてパイプラインで自動ビルドする方法を紹介します。

はじめに

以前の記事「爆速でJenkinsをマスターしよう(NodeJS編)」では、Jenkinsの基本的なインストール方法から始まり、Job DSLによる新しいジョブの作成方法、NodeJSアプリケーションの自動テスト方法、GitHubのコミットをトリガーにした自動ビルド方法を爆速で紹介しました。

今回は、JenkinsにDockerをインストールして、Jod DSLでパイプラインジョブを追加し、Jenkins Pipelineで自動ビルドする方法を紹介します。

前提

以下の準備が完了している必要があります。

Dockerがインストールされていること
GitHubのアカウントがあること
DockerHubのアカウントがあること

詳しいバージョンは「環境」を参照してください。

Docker入りのJenkinsのセットアップ

まずはDockerコマンドを使えるようにしたJenkinsをセットアップしましょう。

ベースを作る

必要なフォルダとファイルを作りましょう。

$ mkdir devops_jenkins_docker
$ cd devops_jenkins_docker
$ touch Dockerfile
$ touch docker-compose.yml

Dockerファイルを作る

Dockerfile

以下のようにDocker CEをJenkins内にインストールするようにします。

FROM jenkins

USER root

RUN apt-get update \
  && apt-get install -y \
  apt-utils \
  apt-transport-https \
  ca-certificates \
  curl \
  software-properties-common \
  && curl -fsSL https://download.docker.com/linux/ubuntu/gpg | apt-key add - \
  && apt-key fingerprint 0EBFCD88 \
  && add-apt-repository \
  "deb [arch=amd64] https://download.docker.com/linux/ubuntu xenial stable" \
  && apt-get update \
  && apt-get install -y docker-ce \
  && apt-get clean \
  && rm -rf /var/lib/apt/lists/* \
  && usermod -aG docker jenkins

RUN cd tmp/ \
  && wget https://updates.jenkins-ci.org/latest/jenkins.war \
  && mv ./jenkins.war /usr/share/jenkins/

USER jenkins

docker-compose.yml

Dockerコンテナ上でDockerコマンドを実行するために「/var/run/docker.sock」のボリュームを設定します。

version: "3"

services:
  jenkins:
    build: .
    ports:
      - 8080:8080
    volumes:
      - ./jenkins_home:/var/jenkins_home
      - /var/run/docker.sock:/var/run/docker.sock

Jenkinsの起動

それではDockerからJenkinsを起動しましょう。「/var/run/docker.sock」の権限変更を忘れずに行いましょう。

$ docker-compose up --build -d
$ docker-compose ps
             Name                            Command               State                 Ports
------------------------------------------------------------------------------------------------------------
devops_jenkins_docker_jenkins_1   /bin/tini -- /usr/local/bi ...   Up      50000/tcp, 0.0.0.0:8080->8080/tcp
$ docker-compose exec -u root jenkins chmod 666 /var/run/docker.sock
$ docker-compose logs -f jenkins
...
jenkins_1  | *************************************************************
jenkins_1  | *************************************************************
jenkins_1  | *************************************************************
jenkins_1  |
jenkins_1  | Jenkins initial setup is required. An admin user has been created and a password generated.
jenkins_1  | Please use the following password to proceed to installation:
jenkins_1  |
jenkins_1  | c834fdf8220943fab0454f1f0ff823ea
jenkins_1  |
jenkins_1  | This may also be found at: /var/jenkins_home/secrets/initialAdminPassword
jenkins_1  |
jenkins_1  | *************************************************************
jenkins_1  | *************************************************************
jenkins_1  | *************************************************************
...

初期化キーとして「c834fdf8220943fab0454f1f0ff823ea」をメモしておきます。

Jenkinsのセットアップ

ブラウザで「localhost:8080」にアクセスして、セットアップを完了します。

Jenkinsのインストールが完了しました。

Dockerの動作確認

JenkinsからDockerが実行できるかテストしましょう。

ホーム画面から「新しいジョブ」をクリックします。

任意のジョブ名(今回は「test_docker」)を入力し、「パイプライン」を選択し、「OK」をクリックします。

「パイプライン」から「Pipeline script」を選択し、以下の「Script」を入力し、「保存」をクリックします。

node {
  docker.image('alpine:latest').inside {
    sh 'echo Hello Docker!'
  }
}

「ビルド実行」をクリックしてテストを実行します。

ビルドが成功しました。

これでDockerがJenkinsから実行されていることを確認できました。

DockerHub用の認証情報の追加

今回は最終的にビルドしたDockerイメージをDockerHub上にPushするので、DockerHubのアカウント情報をJenkinsに追加する必要があります。

ホーム画面から「認証情報」をクリックします。

「Jenkins」をクリックします。

「グローバルドメイン」から「Add credentials」をクリックします。

「ユーザー名とパスワード」を選択し、DockerHubのアカウントのユーザ名とパスワードを入力し、任意のID(今回は「dockerhub-credentials」)を付けて、「保存」をクリックします。

追加した認証情報が表示されています。

Job DSL用のプラグインを追加

後でJob DSLを使うので、プラグインをインストールします。

Jenkinsの再起動が完了すればOKです。

サンプルDockerアプリケーションの作成

ベースの作成

以前の記事「爆速でJenkinsをマスターしよう(NodeJS編)」で作成したNodeJSアプリケーションをそのままDocker化して使いましょう。

$ git clone https://github.com/{your-github-account}/devops_sample_nodejs.git
$ cd devops_sample_nodejs
$ touch Dockerfile

NodeJSアプリケーションのDocker化

Docker化して動作確認をしましょう。

Dockerfile

Dockerfileを以下のように書きます。

FROM node:11-alpine

WORKDIR /app

COPY package.json ./
COPY package-lock.json ./
RUN npm install

COPY ./ ./

CMD npm start

ビルドと実行

Dockerとしてビルドができ、Docker上でコマンドが実行できることを確認しましょう。

$ docker image build -t devops_sample_nodejs:latest .
$ docker container run devops_sample_nodejs:latest
...
Next year is 2019.
2 years until Tokyo Olympic.
The tax of 100 yen is 10 yen if the tax rate is 10%.
I baked 10 cookies. There're 5 people here so you can eat 2.
$ docker container run devops_sample_nodejs:latest npm test
...
PASS test/utis.spec.js
  utils test
    math test
      ✓ should be 3 when adding 1 and 2 (7ms)
      ✓ should be -1 when subtracting 2 from 1
      ✓ should be 12 when multipying 3 by 4 (1ms)
      ✓ should be 4 when dividing 8 by 4

Test Suites: 1 passed, 1 total
Tests:       4 passed, 4 total
Snapshots:   0 total
Time:        1.718s
Ran all test suites.
$ git add .
$ git commit -m 'Dockerize app'
$ git push origin master

OKですね。これをGitHubにPushしておきましょう。

Jenkins PipelineのためのJenkinsfileの作成

ベースを作る

パイプライン用のファイルを準備します。

$ mkdir misc
$ touch misc/Jenkinsfile

Jenkinsfileにパイプラインの設定を書く

Jenkinsfile

パイプライン上で、GitHubからのクローン、Dockerイメージのビルド、Docker内でのテスト、DockerHubへのイメージのPush、を実行するようにします。

node {
  def app

  stage('Clone repository') {
    checkout scm
  }

  stage('Build image') {
    app = docker.build('{your-dockerhub-account}/devops_sample_nodejs')
  }

  stage('Test') {
    app.inside {
      sh 'npm install --only=dev'
      sh 'npm test'
    }
  }

  stage('Push image') {
    docker.withRegistry('https://registry.hub.docker.com', 'dockerhub-credentials') {
      app.push("latest")
    }
  }
}

「{your-dockerhub-account}」は自分のDockerHubのアカウント名を置き換えてください。

Job DSLによるパイプラインジョブの追加

ベースを作る

Job DSL用のファイルを作成します。

$ touch pipeline.groovy

Job DSLの設定ファイルを書く

pipeline.groovy

Job DSLには以下のように、５分単位のポーリング、パイプライン用のJenkinsfileのパス指定、を設定します。

pipelineJob('Pipeline Basic Job') {

  def repo = 'https://github.com/{your-github-account}/devops_sample_nodejs.git'

  description("Pipeline for $repo")

  triggers {
    scm('H/5 * * * *')
  }

  definition {
    cpsScm {
      scm {
        git {
          remote { url(repo) }
          branches('master')
          scriptPath('misc/Jenkinsfile')
          extensions { }
        }
      }
    }
  }
}

「{your-github-account}」は自分のGitHubのアカウント名に置き換えてください。

GitHubにPushする

パイプライン用に作成したファイルをGitHubにPushしておきます。

$ git add .
$ git commit -m 'Add pipeline'
$ git push origin master

Job DSLから新しいJenkins Pipelineのジョブを追加する

ホーム画面から「新規ジョブ作成」から、任意の名前(今回は「seed_job」)を入力し、「フリースタイル・プロジェクトのビルド」を選択し、「OK」をクリックします。

「ソースコード管理」の「Git」を選択し、「リポジトリURL」を入力します。

「ビルド」の「Process Job DSLs」をクリックします。

「DSL Scripts」にDSLファイル名を入力し、「保存」をクリックします。

「In-process Script Approval」をクリックします。

「Approve」をクリックします。

これでDSLが承認されました。

プロジェクト画面に戻って、「ビルド実行」をクリックします。

ビルドが成功し、新しいジョブが作成されました。

自動作成されたジョブ内容の確認

DSLで自動作成されてパイプラインジョブの設定を確認しましょう。

「設定」をクリックします。

「説明」が正しく設定されています。

「スケジュール」が正しく設定されています。

「リポジトリURL」が正しく設定されています。

これでパイプラインジョブの設定が完了です。

CIの動作確認

最後に、Jenkins上でDockerを動かし、自動ビルドしてみましょう。

パイプラインによる自動ビルドの実行

「ビルド実行」をクリックします。(キャプチャでは、パイプラインが見やすいように予め複数回ビルドを実行してあります。)

ビルドが成功しました。

自動的にテストが実行されています。

自動的にDockerイメージがDockerHubにPushされています。

ジョブの画面に戻ると、パイプラインで実行したステージが確認できます。

DockerHubの画面も確認してみましょう。

正しくDockerHubにイメージがPushされています。

これで完了です。

最後に

いかがでしたか？これでDockerアプリケーションをJenkinsでビルドする方法やパイプラインの使い方をマスターできたことでしょう。今回はNodeJSベースのDockerアプリケーションですが、当然他の言語でも動きます。JenkinsとDockerを使いこなしてCI/CDを開発現場で実施していきましょう。それでは。

環境

Docker: 18.06.1-ce, build e68fc7a
Jenkins: 2.151