Casual Developers Notes

Pythonのパッケージ管理の仕組みは他のプログラミング言語と比較して使いにくいものでしたが、やっとPipenvという使いやすいパッケージ管理ツールが登場しました。今回はPipenvの簡単な使い方を紹介します。

はじめに

PyCon 2018のこちらの動画「Kenneth Reitz – Pipenv: The Future of Python Dependency Management」をご覧ください。英語が多少わかる方ならすぐにPipenvの良さが理解できたと思います。

Pythonの世界では、Pythonパッケージを管理する方法として、仮想環境(virtualenv/venv)を作り、その上にrequirements.txtを使ってパッケージを読み込む方法がずっと使われてきました。Pythonの世界から出たことがない人は気づかないかもしれませんが、例えば一歩JavaScriptの世界に足を踏み入れてみると、NPMやYarnを使い、ロックファイルの仕組み(プロジェクト単位で設定ファイルにパッケージのバージョンを指定したり、開発用とプロダクション用でインストールするパッケージを分けたりする方法)でパッケージを管理しています。この方法を知っていると、Pythonの今までの方法がいかに使いにくいか分かります。

そこで、このロックファイルの仕組をPythonの世界に持ち込み、新標準となりつつあるのがPipenvです。PipenvではJavaScriptのNPMやYarnと同じように、柔軟なパッケージのバージョン指定や開発用とプロダクション用のパッケージ分けを設定ファイルに書くことができ、パッケージのインストールと同時に仮想環境が生成されるので、開発フローが分かりやすく、よりシームレスになります。本当に便利です。

それでは、さっそく新しいPythonパッケージ管理ツール「Pipenv」に入門しましょう。

従来のパッケージ管理方法(PIP)

まずは、よく使われているPIPを使ったPythonパッケージの管理方法をおさらいしておきましょう。

PIPコマンドによるパッケージのインストールとエクスポート

プロジェクト用にvenvで仮想環境を構築し、その仮想環境上にPIPでパッケージをインストールします。その後、「pip freeze」で仮想環境上にインストールされているパッケージを「requirements.txt」に出力します。

$ python --version
Python 3.7.1
$ mkdir sample-flask-app-old-way
$ cd sample-flask-app-old-way/
$ python -m venv .venv
$ ls -a
./     ../    .venv/
$ source .venv/bin/activate
$ pip install --upgrade pip
$ pip --version
pip 18.1
$ pip install Flask flask_restful flask_cors marshmallow pymongo ptvsd pytest
$ pip list
Package        Version
-------------- -------
aniso8601      4.0.1
atomicwrites   1.2.1
attrs          18.2.0
Click          7.0
Flask          1.0.2
Flask-Cors     3.0.7
Flask-RESTful  0.3.6
itsdangerous   1.1.0
Jinja2         2.10
MarkupSafe     1.1.0
marshmallow    2.16.3
more-itertools 4.3.0
pip            18.1
pluggy         0.8.0
ptvsd          4.2.0
py             1.7.0
pymongo        3.7.2
pytest         4.0.1
pytz           2018.7
setuptools     39.0.1
six            1.11.0
Werkzeug       0.14.1
$ pip freeze > requirements.txt
$ cat requirements.txt
aniso8601==4.0.1
atomicwrites==1.2.1
attrs==18.2.0
Click==7.0
Flask==1.0.2
Flask-Cors==3.0.7
Flask-RESTful==0.3.6
itsdangerous==1.1.0
Jinja2==2.10
MarkupSafe==1.1.0
marshmallow==2.16.3
more-itertools==4.3.0
pluggy==0.8.0
ptvsd==4.2.0
py==1.7.0
pymongo==3.7.2
pytest==4.0.1
pytz==2018.7
six==1.11.0
Werkzeug==0.14.1
$ deactivate

後は「requirements.txt」を使ってパッケージのバージョンを管理します。この方法には問題があります。それは、開発用のパッケージとプロダクション用のパッケージが混ざっている点です。これに対するメジャーな解決策はrequirements.txtを別名にして分割し、開発時とプロダクション時で別々のrequirements.txtを読み込む方法です。かなり面倒です。

PIPコマンドとrequirements.txtファイルによりパッケージのインストール

「requirements.txt」ファイルを作成し、それを使ってインストールします。

$ mkdir sample-flask-app-old-way2
$ cd sample-flask-app-old-way2/
$ vi requirements.txt
Flask==1.0.2
Flask-RESTful==0.3.6
Flask-Cors==3.0.7
marshmallow==2.16.3
pymongo==3.7.2
ptvsd==4.2.0
pytest==4.0.1
$ python -m venv .venv
$ source .venv/bin/activate
$ pip install --upgrade pip
$ pip install -r requirements.txt
$ pip list
Package        Version
-------------- -------
aniso8601      4.0.1
atomicwrites   1.2.1
attrs          18.2.0
Click          7.0
Flask          1.0.2
Flask-Cors     3.0.7
Flask-RESTful  0.3.6
itsdangerous   1.1.0
Jinja2         2.10
MarkupSafe     1.1.0
marshmallow    2.16.3
more-itertools 4.3.0
pip            18.1
pluggy         0.8.0
ptvsd          4.2.0
py             1.7.0
pymongo        3.7.2
pytest         4.0.1
pytz           2018.7
setuptools     39.0.1
six            1.11.0
Werkzeug       0.14.1
$ deactivate

「requirements.txt」で指定したバージョンのパッケージと依存関係のあるパッケージががインストールされました。

ここまでが従来のPIPによるパッケージ管理の方法でした。

新標準のパッケージ管理方法(Pipenv)

それでは、いよいよPipenvを使っていきましょう。

Pipenvのインストール

PIPからインストールできます。最新版をインストールする場合は以下のコマンドを実行しましょう。

$ pip install --user pipenv
$ pip install --user --upgrade pipenv

バージョンを指定する場合は以下のようにします。

$ pip install --user pipenv==2018.10.13

あるいは、MacからHomebrewでインストールすることもできます。その場合は以下になります。

$ brew install pipenv

Pipenvの設定

Pipenvを使うと自動的に仮想環境が作られるのですが、そのパスをプロジェクト内に指定したい場合は「PIPENV_VENV_IN_PROJECT=1」を「.bash_profile」や「.bashrc」などに設定する必要があります。

$ echo "export PIPENV_VENV_IN_PROJECT=1" >> ~/.bash_profile

この設定をしておけば「pipenv install」実行時にプロジェクト内に「.venv」という名前の仮想環境が構築されるので、扱いやすいです。

Pipenvのサポート情報の確認

Pipenvのバージョン、指定できるPythonバージョンのリスト、パスの設定内容などを確認してみましょう。

$ pipenv --version
pipenv, version 2018.10.13
$ pipenv --support
$ pipenv --support

Pipenv version: `'2018.10.13'`

Pipenv location: `'/Users/user/.local/lib/python3.7/site-packages/pipenv'`

Python location: `'/Users/user/.anyenv/envs/pyenv/versions/3.7.1/bin/python3.7'`

Python installations found:

  - `3.7.1`: `/Users/user/.anyenv/envs/pyenv/shims/python`
...

この時点でエラーになった場合はPipenvのissueを確認してみましょう。ちなみに執筆時点では最新の「2018.11.14」はMac　OS上ではエラーで動かないので、一つ前のバージョン「2018.10.13」を使っています。

Pipenvによる初期化

今回用のプロジェクトディレクトリを作成し、Pipenvの初期化をしてみましょう。

$ mkdir sample-flask-app-new-way
$ cd sample-flask-app-new-way/
$ pipenv install
$ ls -a
./            ../           .venv/        Pipfile       Pipfile.lock
$ cat Pipfile
[[source]]
url = "https://pypi.org/simple"
verify_ssl = true
name = "pypi"

[packages]

[dev-packages]

[requires]
python_version = "3.7"

この時点で仮想環境「.venv」が自動的に作成され、「Pipfile」と「Pipfile.lock」のロックファイルが作成されます。もしすでにこれらのファイルが存在する場合は、指定されているパッケージが自動的にインストールされます。なので、この2つのファイルはGitで管理することになります。(JavaScriptの「package.json」と「package-lock.json」と同じですね。)

Pipfileの詳しい書き方は公式ドキュメントを参照すると良いでしょう。

Pipenvによるパッケージのインストール

次にPipenvで、プロダクション用のパッケージと開発用のパッケージを分けてインストールしてみましょう。

$ pipenv install Flask==1.0.* flask_restful==0.3.* flask_cors==3.0.* marshmallow==2.16.* pymongo==3.7.*
$ pipenv install --dev ptvsd pytest
$ cat Pipfile
[[source]]
url = "https://pypi.org/simple"
verify_ssl = true
name = "pypi"

[packages]
flask = "==1.0.*"
flask-restful = "==0.3.*"
flask-cors = "==3.0.*"
marshmallow = "==2.16.*"
pymongo = "==3.7.*"

[dev-packages]
ptvsd = "*"
pytest = "*"

[requires]
python_version = "3.7"

分けてインストールできました。

Pipenvによるパッケージのアップデート

古くなっているパッケージを確認して、アップデートします。

$ pipenv update --outdated
$ pipenv update

パッケージを指定してアップデートする場合は以下のようにします。

$ pipenv update Flask

Pipenvによるパッケージのアンインストール

パッケージ名を指定してアンインストールする場合は以下のようにします。この場合は、仮想環境とPipfileの両方から削除されます。

$ pipenv uninstall Flask

仮想環境だけからパッケージを全てアンインストールする場合は以下のようにします。この場合はPipfileはそのまま残ります。

$ pipenv uninstall --all

開発用のパッケージだけを全てアンインストールする場合は以下のようにします。この場合は、開発用に限り、仮想環境とPipfileの両方から削除されます。

$ pipenv uninstall --all-dev

Pipenvで仮想環境の削除

仮想環境(.venv)を削除するには以下のコマンドを実行します。

$ pipenv --rm

Pipenvでrequirements.txtからインストール

Pipenvを使う場合は、Pipfileがrequirements.txtの代替になります。なので、Pipenvを前提とした場合はrequirements.txtは不要になるのですが、移行する場合などはまだrequirements.txtからインストールする場面があるかもしれません。やってみましょう。

$ mkdir sample-flask-app-import-old-way
$ cd sample-flask-app-import-old-way/
$ vi requirements.txt
Flask==1.0.2
Flask-RESTful==0.3.6
Flask-Cors==3.0.7
marshmallow==2.16.3
pymongo==3.7.2
ptvsd==4.2.0
pytest==4.0.1
$ ls -a
./                ../               requirements.txt
$ pipenv install
$ ls -a
./                ../               .venv/            Pipfile           Pipfile.lock      requirements.txt
$ cat Pipfile
[[source]]
url = "https://pypi.org/simple"
verify_ssl = true
name = "pypi"

[packages]
marshmallow = "==2.16.3"
pymongo = "==3.7.2"
ptvsd = "==4.2.0"
pytest = "==4.0.1"
Flask = "==1.0.2"
Flask-RESTful = "==0.3.6"
Flask-Cors = "==3.0.7"

[dev-packages]

[requires]
python_version = "3.7"

Pipenvではインストール時にPipfileが存在せず、requirements.txtが存在する場合は、自動的にrequirements.txtからインポートします。自分でrequirements.txtファイルを指定する場合は以下のようにします。

$ pipenv install -r requirements.txt

Pipenvによるシェル実行

仮想環境の有効や無効を切り替えるために、従来はactivateとdeactivateを実行していましたが、Pipenvでは「pipenv shell」コマンドを実行することでactivsteされ、「exit」でdeactivateされます。さらに、仮想環境をactivateしないでも「pipenv run」コマンドを使うことで仮想環境内でPythonを実行できます。やってみましょう。

$ mkdir sample-flask-app
$ cd sample-flask-app
$ vi Pipfile
[[source]]
url = "https://pypi.org/simple"
verify_ssl = true
name = "pypi"

[packages]
Flask = "==1.0.2"
Flask-RESTful = "==0.3.6"
Flask-Cors = "==3.0.7"
marshmallow = "==2.16.3"
pymongo = "==3.7.2"

[dev-packages]
ptvsd = "==4.2.0"
pytest = "==4.0.1"

[requires]
python_version = "3.6"
$ pipenv install
Creating a virtualenv for this project…
Pipfile: /Users/user/sample-flask-app/Pipfile
Using /Users/user/.anyenv/envs/pyenv/versions/3.6.5/bin/python3.6 (3.6.5) to create virtualenv…
...
$ pipenv shell
(sample-flask-app)$ python --version
Python 3.6.5
(sample-flask-app)$ pip list
Package       Version
------------- -------
aniso8601     4.0.1
Click         7.0
Flask         1.0.2
Flask-Cors    3.0.7
Flask-RESTful 0.3.6
itsdangerous  1.1.0
Jinja2        2.10
MarkupSafe    1.1.0
marshmallow   2.16.3
pip           18.1
pymongo       3.7.2
pytz          2018.7
setuptools    40.6.2
six           1.11.0
Werkzeug      0.14.1
wheel         0.32.3
(sample-flask-app)$ exit
exit

Pipenvによるバージョン変更

PipenvではPythonのバージョンを指定することで、仮想環境をまるごと入れ替えられます。「–three」オプションを指定すると、すでに存在する仮想環境が削除され、ローカルにインストールされている最新のPython3の仮想環境が新しく作成されます。「–two」オプソンと指定すると同じことがPython2で行われます。「–python X.X.X」オプションを指定すると固定のPythonバージョンを指定できます。先程の続きからやってみましょう。

$ pipenv --three
Virtualenv already exists!
Removing existing virtualenv…
Creating a virtualenv for this project…
Pipfile: /Users/user/sample-flask-app/Pipfile
Using /Users/user/.anyenv/envs/pyenv/shims/python3 (3.7.1) to create virtualenv…
...
$ pipenv run python --version
...
Python 3.7.1
$ pipenv --two
Virtualenv already exists!
Removing existing virtualenv…
Creating a virtualenv for this project…
Pipfile: /Users/user/sample-flask-app/Pipfile
Using /usr/local/Cellar/python@2/2.7.15_1/Frameworks/Python.framework/Versions/2.7/bin/python2.7 (2.7.15) to create virtualenv…
...
$ pipenv run python --version
...
Python 2.7.15
$ pipenv check
Checking PEP 508 requirements…
Specifier python_version does not match 3.6 (2.7).
Failed!
$ pipenv --python 3.6.5
Virtualenv already exists!
Removing existing virtualenv…
Creating a virtualenv for this project…
Pipfile: /Users/user/sample-flask-app/Pipfile
Using /Users/user/.anyenv/envs/pyenv/versions/3.6.5/bin/python3.6 (3.6.5) to create virtualenv…
...
$ pipenv check
Checking PEP 508 requirements…
Passed!
Checking installed package safety…
All good!
$ pipenv run python --version
Python 3.6.5

仮想環境とPipfileに不整合があるかどうかは「pipenv check」コマンドで確認しています。また、新しく作られた仮想環境はクリーンなので、必要に応じて「pipenv install」を再度実行してください。あるいは、「pipenv install –three」のように一緒にPythonのバージョンを指定することもできます。

おまけ(追記)

DockerでPipenvを使う

Docker上でPipenvを使う場合のDockerfileは以下のようになります。

FROM python:3.7.1-slim-stretch

WORKDIR /usr/src/app

RUN pip install --upgrade pip setuptools \
  && pip install pipenv==2018.11.26

COPY Pipfile ./
COPY Pipfile.lock ./
RUN pipenv install --deploy --system

COPY ./ ./

EXPOSE 5000

CMD python src/app.py

ポイントは、仮想環境を構築せずにシステムにインストールしている点です。Dockerではコンテナで環境が分離されるので仮想環境を使う必要がないためです。Pipenvでインストールする場合、開発用であれば「pipenv install --dev --system」、プロダクション用であれば「pipenv install --deploy --system」が良いと思います。後は、追加としてFlaskやDjangoなどのフレームワーク向けの環境変数などを追加すれば完璧です。

最後に

いかがでしたか？これでPipenvの基本的な使い方は理解できたと思います。まだ新しいツールですが、今後デファクトスタンダードになることは間違いないので、今のうちに使えるようになってしまいましょう。それでは。

環境

• PC: macOS Mojava 10.14.1
• Python: 3.7.1
• PIP: 18.1
• Pipenv: 2018.10.13