Pythonのパッケージ管理の仕組みは他のプログラミング言語と比較して使いにくいものでしたが、やっとPipenvという使いやすいパッケージ管理ツールが登場しました。今回はPipenvの簡単な使い方を紹介します。
はじめに
PyCon 2018のこちらの動画「Kenneth Reitz – Pipenv: The Future of Python Dependency Management」をご覧ください。英語が多少わかる方ならすぐにPipenvの良さが理解できたと思います。
Pythonの世界では、Pythonパッケージを管理する方法として、仮想環境(virtualenv/venv)を作り、その上にrequirements.txtを使ってパッケージを読み込む方法がずっと使われてきました。Pythonの世界から出たことがない人は気づかないかもしれませんが、例えば一歩JavaScriptの世界に足を踏み入れてみると、NPMやYarnを使い、ロックファイルの仕組み(プロジェクト単位で設定ファイルにパッケージのバージョンを指定したり、開発用とプロダクション用でインストールするパッケージを分けたりする方法)でパッケージを管理しています。この方法を知っていると、Pythonの今までの方法がいかに使いにくいか分かります。
そこで、このロックファイルの仕組をPythonの世界に持ち込み、新標準となりつつあるのがPipenvです。PipenvではJavaScriptのNPMやYarnと同じように、柔軟なパッケージのバージョン指定や開発用とプロダクション用のパッケージ分けを設定ファイルに書くことができ、パッケージのインストールと同時に仮想環境が生成されるので、開発フローが分かりやすく、よりシームレスになります。本当に便利です。
それでは、さっそく新しいPythonパッケージ管理ツール「Pipenv」に入門しましょう。
従来のパッケージ管理方法(PIP)
まずは、よく使われているPIPを使ったPythonパッケージの管理方法をおさらいしておきましょう。
PIPコマンドによるパッケージのインストールとエクスポート
プロジェクト用にvenvで仮想環境を構築し、その仮想環境上にPIPでパッケージをインストールします。その後、「pip freeze」で仮想環境上にインストールされているパッケージを「requirements.txt」に出力します。
$ python --version
Python 3.7.1
$ mkdir sample-flask-app-old-way
$ cd sample-flask-app-old-way/
$ python -m venv .venv
$ ls -a
./ ../ .venv/
$ source .venv/bin/activate
$ pip install --upgrade pip
$ pip --version
pip 18.1
$ pip install Flask flask_restful flask_cors marshmallow pymongo ptvsd pytest
$ pip list
Package Version
-------------- -------
aniso8601 4.0.1
atomicwrites 1.2.1
attrs 18.2.0
Click 7.0
Flask 1.0.2
Flask-Cors 3.0.7
Flask-RESTful 0.3.6
itsdangerous 1.1.0
Jinja2 2.10
MarkupSafe 1.1.0
marshmallow 2.16.3
more-itertools 4.3.0
pip 18.1
pluggy 0.8.0
ptvsd 4.2.0
py 1.7.0
pymongo 3.7.2
pytest 4.0.1
pytz 2018.7
setuptools 39.0.1
six 1.11.0
Werkzeug 0.14.1
$ pip freeze > requirements.txt
$ cat requirements.txt
aniso8601==4.0.1
atomicwrites==1.2.1
attrs==18.2.0
Click==7.0
Flask==1.0.2
Flask-Cors==3.0.7
Flask-RESTful==0.3.6
itsdangerous==1.1.0
Jinja2==2.10
MarkupSafe==1.1.0
marshmallow==2.16.3
more-itertools==4.3.0
pluggy==0.8.0
ptvsd==4.2.0
py==1.7.0
pymongo==3.7.2
pytest==4.0.1
pytz==2018.7
six==1.11.0
Werkzeug==0.14.1
$ deactivate
後は「requirements.txt」を使ってパッケージのバージョンを管理します。この方法には問題があります。それは、開発用のパッケージとプロダクション用のパッケージが混ざっている点です。これに対するメジャーな解決策はrequirements.txtを別名にして分割し、開発時とプロダクション時で別々のrequirements.txtを読み込む方法です。かなり面倒です。
PIPコマンドとrequirements.txtファイルによりパッケージのインストール
「requirements.txt」ファイルを作成し、それを使ってインストールします。
$ mkdir sample-flask-app-old-way2
$ cd sample-flask-app-old-way2/
$ vi requirements.txt
Flask==1.0.2
Flask-RESTful==0.3.6
Flask-Cors==3.0.7
marshmallow==2.16.3
pymongo==3.7.2
ptvsd==4.2.0
pytest==4.0.1
$ python -m venv .venv
$ source .venv/bin/activate
$ pip install --upgrade pip
$ pip install -r requirements.txt
$ pip list
Package Version
-------------- -------
aniso8601 4.0.1
atomicwrites 1.2.1
attrs 18.2.0
Click 7.0
Flask 1.0.2
Flask-Cors 3.0.7
Flask-RESTful 0.3.6
itsdangerous 1.1.0
Jinja2 2.10
MarkupSafe 1.1.0
marshmallow 2.16.3
more-itertools 4.3.0
pip 18.1
pluggy 0.8.0
ptvsd 4.2.0
py 1.7.0
pymongo 3.7.2
pytest 4.0.1
pytz 2018.7
setuptools 39.0.1
six 1.11.0
Werkzeug 0.14.1
$ deactivate
「requirements.txt」で指定したバージョンのパッケージと依存関係のあるパッケージががインストールされました。
ここまでが従来のPIPによるパッケージ管理の方法でした。
新標準のパッケージ管理方法(Pipenv)
それでは、いよいよPipenvを使っていきましょう。
Pipenvのインストール
PIPからインストールできます。最新版をインストールする場合は以下のコマンドを実行しましょう。
$ pip install --user pipenv
$ pip install --user --upgrade pipenv
バージョンを指定する場合は以下のようにします。
$ pip install --user pipenv==2018.10.13
あるいは、MacからHomebrewでインストールすることもできます。その場合は以下になります。
$ brew install pipenv
Pipenvの設定
Pipenvを使うと自動的に仮想環境が作られるのですが、そのパスをプロジェクト内に指定したい場合は「PIPENV_VENV_IN_PROJECT=1」を「.bash_profile」や「.bashrc」などに設定する必要があります。
$ echo "export PIPENV_VENV_IN_PROJECT=1" >> ~/.bash_profile
この設定をしておけば「pipenv install」実行時にプロジェクト内に「.venv」という名前の仮想環境が構築されるので、扱いやすいです。
Pipenvのサポート情報の確認
Pipenvのバージョン、指定できるPythonバージョンのリスト、パスの設定内容などを確認してみましょう。
$ pipenv --version
pipenv, version 2018.10.13
$ pipenv --support
$ pipenv --support
Pipenv version: `'2018.10.13'`
Pipenv location: `'/Users/user/.local/lib/python3.7/site-packages/pipenv'`
Python location: `'/Users/user/.anyenv/envs/pyenv/versions/3.7.1/bin/python3.7'`
Python installations found:
- `3.7.1`: `/Users/user/.anyenv/envs/pyenv/shims/python`
...
この時点でエラーになった場合はPipenvのissueを確認してみましょう。ちなみに執筆時点では最新の「2018.11.14」はMac OS上ではエラーで動かないので、一つ前のバージョン「2018.10.13」を使っています。
Pipenvによる初期化
今回用のプロジェクトディレクトリを作成し、Pipenvの初期化をしてみましょう。
$ mkdir sample-flask-app-new-way
$ cd sample-flask-app-new-way/
$ pipenv install
$ ls -a
./ ../ .venv/ Pipfile Pipfile.lock
$ cat Pipfile
[[source]]
url = "https://pypi.org/simple"
verify_ssl = true
name = "pypi"
[packages]
[dev-packages]
[requires]
python_version = "3.7"
この時点で仮想環境「.venv」が自動的に作成され、「Pipfile」と「Pipfile.lock」のロックファイルが作成されます。もしすでにこれらのファイルが存在する場合は、指定されているパッケージが自動的にインストールされます。なので、この2つのファイルはGitで管理することになります。(JavaScriptの「package.json」と「package-lock.json」と同じですね。)
Pipfileの詳しい書き方は公式ドキュメントを参照すると良いでしょう。
Pipenvによるパッケージのインストール
次にPipenvで、プロダクション用のパッケージと開発用のパッケージを分けてインストールしてみましょう。
$ pipenv install Flask==1.0.* flask_restful==0.3.* flask_cors==3.0.* marshmallow==2.16.* pymongo==3.7.*
$ pipenv install --dev ptvsd pytest
$ cat Pipfile
[[source]]
url = "https://pypi.org/simple"
verify_ssl = true
name = "pypi"
[packages]
flask = "==1.0.*"
flask-restful = "==0.3.*"
flask-cors = "==3.0.*"
marshmallow = "==2.16.*"
pymongo = "==3.7.*"
[dev-packages]
ptvsd = "*"
pytest = "*"
[requires]
python_version = "3.7"
分けてインストールできました。
Pipenvによるパッケージのアップデート
古くなっているパッケージを確認して、アップデートします。
$ pipenv update --outdated
$ pipenv update
パッケージを指定してアップデートする場合は以下のようにします。
$ pipenv update Flask
Pipenvによるパッケージのアンインストール
パッケージ名を指定してアンインストールする場合は以下のようにします。この場合は、仮想環境とPipfileの両方から削除されます。
$ pipenv uninstall Flask
仮想環境だけからパッケージを全てアンインストールする場合は以下のようにします。この場合はPipfileはそのまま残ります。
$ pipenv uninstall --all
開発用のパッケージだけを全てアンインストールする場合は以下のようにします。この場合は、開発用に限り、仮想環境とPipfileの両方から削除されます。
$ pipenv uninstall --all-dev
Pipenvで仮想環境の削除
仮想環境(.venv)を削除するには以下のコマンドを実行します。
$ pipenv --rm
Pipenvでrequirements.txtからインストール
Pipenvを使う場合は、Pipfileがrequirements.txtの代替になります。なので、Pipenvを前提とした場合はrequirements.txtは不要になるのですが、移行する場合などはまだrequirements.txtからインストールする場面があるかもしれません。やってみましょう。
$ mkdir sample-flask-app-import-old-way
$ cd sample-flask-app-import-old-way/
$ vi requirements.txt
Flask==1.0.2
Flask-RESTful==0.3.6
Flask-Cors==3.0.7
marshmallow==2.16.3
pymongo==3.7.2
ptvsd==4.2.0
pytest==4.0.1
$ ls -a
./ ../ requirements.txt
$ pipenv install
$ ls -a
./ ../ .venv/ Pipfile Pipfile.lock requirements.txt
$ cat Pipfile
[[source]]
url = "https://pypi.org/simple"
verify_ssl = true
name = "pypi"
[packages]
marshmallow = "==2.16.3"
pymongo = "==3.7.2"
ptvsd = "==4.2.0"
pytest = "==4.0.1"
Flask = "==1.0.2"
Flask-RESTful = "==0.3.6"
Flask-Cors = "==3.0.7"
[dev-packages]
[requires]
python_version = "3.7"
Pipenvではインストール時にPipfileが存在せず、requirements.txtが存在する場合は、自動的にrequirements.txtからインポートします。自分でrequirements.txtファイルを指定する場合は以下のようにします。
$ pipenv install -r requirements.txt
Pipenvによるシェル実行
仮想環境の有効や無効を切り替えるために、従来はactivateとdeactivateを実行していましたが、Pipenvでは「pipenv shell」コマンドを実行することでactivsteされ、「exit」でdeactivateされます。さらに、仮想環境をactivateしないでも「pipenv run」コマンドを使うことで仮想環境内でPythonを実行できます。やってみましょう。
$ mkdir sample-flask-app
$ cd sample-flask-app
$ vi Pipfile
[[source]]
url = "https://pypi.org/simple"
verify_ssl = true
name = "pypi"
[packages]
Flask = "==1.0.2"
Flask-RESTful = "==0.3.6"
Flask-Cors = "==3.0.7"
marshmallow = "==2.16.3"
pymongo = "==3.7.2"
[dev-packages]
ptvsd = "==4.2.0"
pytest = "==4.0.1"
[requires]
python_version = "3.6"
$ pipenv install
Creating a virtualenv for this project…
Pipfile: /Users/user/sample-flask-app/Pipfile
Using /Users/user/.anyenv/envs/pyenv/versions/3.6.5/bin/python3.6 (3.6.5) to create virtualenv…
...
$ pipenv shell
(sample-flask-app)$ python --version
Python 3.6.5
(sample-flask-app)$ pip list
Package Version
------------- -------
aniso8601 4.0.1
Click 7.0
Flask 1.0.2
Flask-Cors 3.0.7
Flask-RESTful 0.3.6
itsdangerous 1.1.0
Jinja2 2.10
MarkupSafe 1.1.0
marshmallow 2.16.3
pip 18.1
pymongo 3.7.2
pytz 2018.7
setuptools 40.6.2
six 1.11.0
Werkzeug 0.14.1
wheel 0.32.3
(sample-flask-app)$ exit
exit
Pipenvによるバージョン変更
PipenvではPythonのバージョンを指定することで、仮想環境をまるごと入れ替えられます。「–three」オプションを指定すると、すでに存在する仮想環境が削除され、ローカルにインストールされている最新のPython3の仮想環境が新しく作成されます。「–two」オプソンと指定すると同じことがPython2で行われます。「–python X.X.X」オプションを指定すると固定のPythonバージョンを指定できます。先程の続きからやってみましょう。
$ pipenv --three
Virtualenv already exists!
Removing existing virtualenv…
Creating a virtualenv for this project…
Pipfile: /Users/user/sample-flask-app/Pipfile
Using /Users/user/.anyenv/envs/pyenv/shims/python3 (3.7.1) to create virtualenv…
...
$ pipenv run python --version
...
Python 3.7.1
$ pipenv --two
Virtualenv already exists!
Removing existing virtualenv…
Creating a virtualenv for this project…
Pipfile: /Users/user/sample-flask-app/Pipfile
Using /usr/local/Cellar/python@2/2.7.15_1/Frameworks/Python.framework/Versions/2.7/bin/python2.7 (2.7.15) to create virtualenv…
...
$ pipenv run python --version
...
Python 2.7.15
$ pipenv check
Checking PEP 508 requirements…
Specifier python_version does not match 3.6 (2.7).
Failed!
$ pipenv --python 3.6.5
Virtualenv already exists!
Removing existing virtualenv…
Creating a virtualenv for this project…
Pipfile: /Users/user/sample-flask-app/Pipfile
Using /Users/user/.anyenv/envs/pyenv/versions/3.6.5/bin/python3.6 (3.6.5) to create virtualenv…
...
$ pipenv check
Checking PEP 508 requirements…
Passed!
Checking installed package safety…
All good!
$ pipenv run python --version
Python 3.6.5
仮想環境とPipfileに不整合があるかどうかは「pipenv check」コマンドで確認しています。また、新しく作られた仮想環境はクリーンなので、必要に応じて「pipenv install」を再度実行してください。あるいは、「pipenv install –three」のように一緒にPythonのバージョンを指定することもできます。
おまけ(追記)
DockerでPipenvを使う
Docker上でPipenvを使う場合のDockerfileは以下のようになります。
FROM python:3.7.1-slim-stretch
WORKDIR /usr/src/app
RUN pip install --upgrade pip setuptools \
&& pip install pipenv==2018.11.26
COPY Pipfile ./
COPY Pipfile.lock ./
RUN pipenv install --deploy --system
COPY ./ ./
EXPOSE 5000
CMD python src/app.py
ポイントは、仮想環境を構築せずにシステムにインストールしている点です。Dockerではコンテナで環境が分離されるので仮想環境を使う必要がないためです。Pipenvでインストールする場合、開発用であれば「pipenv install --dev --system」、プロダクション用であれば「pipenv install --deploy --system」が良いと思います。後は、追加としてFlaskやDjangoなどのフレームワーク向けの環境変数などを追加すれば完璧です。
最後に
いかがでしたか？これでPipenvの基本的な使い方は理解できたと思います。まだ新しいツールですが、今後デファクトスタンダードになることは間違いないので、今のうちに使えるようになってしまいましょう。それでは。
環境
- PC: macOS Mojava 10.14.1
- Python: 3.7.1
- PIP: 18.1
- Pipenv: 2018.10.13
