Contents

Python教程-虚拟环境和包

本系列为作者在官网学习python时做的笔记,详见python官网

python标准库官方文档,查阅标准库相关的内容

python语言参考,查看python语法,该文档是简洁的,但试图做到准确和完整。非必要的内建对象类型和内建函数、模块的语义描述在 Python 标准库 中。

标准库和语言参考涵盖了python的所有内容,他们是互补的,如果在语言参考中没有找到需要的内容那么就一定在便准库文档中。

概述

Python应用程序通常会使用不在标准库内的软件包和模块。应用程序有时需要特定版本的库,因为应用程序可能需要修复特定的错误,或者可以使用库的过时版本的接口编写应用程序。

这意味着一个Python安装可能无法满足每个应用程序的要求。如果应用程序A需要特定模块的1.0版本但应用程序B需要2.0版本,则需求存在冲突,安装版本1.0或2.0将导致某一个应用程序无法运行。

这个问题的解决方案是创建一个 virtual environment,一个目录树,其中安装有特定Python版本,以及许多其他包。

然后,不同的应用将可以使用不同的虚拟环境。 要解决先前需求相冲突的例子,应用程序 A 可以拥有自己的 安装了 1.0 版本的虚拟环境,而应用程序 B 则拥有安装了 2.0 版本的另一个虚拟环境。 如果应用程序 B 要求将某个库升级到 3.0 版本,也不会影响应用程序 A 的环境。

创建虚拟环境

该部分为venv的使用,详见原文,更推荐使用anaconda来管理多版本的python。

使用pip管理包

未安装pip解决办法

1
python -m ensurepip --default-pip

默认情况下 pip 将从 Python Package Index安装软件包

pip 有许多子命令: “install”, “uninstall”, “freeze” 等等。 (请在 安装 Python 模块 指南页查看完整的 pip 文档。)

pip下载的包位置位于:${PYTHON_HOME}\Lib\site-packages,当安装包出现问题时可以直接去这个文件夹删除包再重新安装,这个目录类似于golang 在 go mod 包管理下的${GOROOT}/pkg/mod目录

通过指定包的名称来安装最新版本的包:

1
pip install novas

通过提供包名称后跟 == 和版本号来安装特定版本的包:

1
pip install requests==2.6.0

编程之家

离线安装本地的whl文件也使用pip install

1
pip install xxx.whl

重复运行install命令,pip 会注意到已经安装了所请求的版本并且什么都不做。

添加 --upgrade 选项将软件包升级到最新版本或者替换版本(使用 == 标记版本):

1
2
3
pip install --upgrade requests

pip install --upgrade requests==x.x.x

pip uninstall 后跟一个或多个包名称将从虚拟环境中删除包。

pip show 将显示有关特定包的信息:

1
pip show requests

pip list 显示虚拟环境中安装的所有软件包:

pip freeze 使用 pip install 期望的格式输出一个类似的已安装包列表。一个常见的约定是将此列表放在 requirements.txt 文件中:

1
2
3
4
5
(tutorial-env) $ pip freeze > requirements.txt
(tutorial-env) $ cat requirements.txt
novas==3.1.1.3
numpy==1.9.2
requests==2.7.0

可以将 requirements.txt 提交给版本控制并作为应用程序的一部分。然后用户可以使用 install -r 安装所有必需的包:

1
pip install -r requirements.txt

上传自己的python包

python官网教程

准备工作

  1. 更新pip:python -m pip install --upgrade pip
  2. 创建包文件
1
2
3
4
5
6
7
8
9
packaging_tutorial/
├── LICENSE
├── pyproject.toml
├── README.md
├── src/
│   └── example_package_YOUR_USERNAME_HERE/ # 导入包名,和toml配置里的name对应
│       ├── __init__.py
│       └── example.py # 导入的模块,可以有多个,后续直接通过`from 包名 import 模块名`导入
└── tests/

example.py是包内模块的示例

  1. 配置 pyproject.toml

构建工具

1
2
3
[build-system]
requires = ["hatchling"]
build-backend = "hatchling.build"

元数据

详细元数据项见官网文档

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
[project]
# 后续导入名称,和src里面的文件夹对应
name = "example_package_YOUR_USERNAME_HERE" 
# 版本号
version = "0.0.1"
authors = [
  { name="Example Author", email="author@example.com" },
]
description = "A small example package"
readme = "README.md"
requires-python = ">=3.7"
classifiers = [
    "Programming Language :: Python :: 3",
    "License :: OSI Approved :: MIT License",
    "Operating System :: OS Independent",
]
# 依赖项,安装包之前自动安装下面的包
dependencies = [
    "networkx",
    "matplotlib",
]

[project.urls]
"Homepage" = "https://github.com/pypa/sampleproject"
"Bug Tracker" = "https://github.com/pypa/sampleproject/issues"
  1. 配置README.md
1
2
3
4
5
# Example Package

This is a simple example package. You can use
[Github-flavored Markdown](https://guides.github.com/features/mastering-markdown/)
to write your content.
  1. 创建许可证
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
Copyright (c) 2018 The Python Packaging Authority

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.

上传模块

  1. 更新build模块:python -m pip install --upgrade build
  2. 在项目根目录运行build模块:python -m build
  3. 更新twine模块:python -m pip install --upgrade twine
  4. 在项目根目录使用twine上传模块到pypi:python -m twine upload dist/*

之后就可以在本地安装自己的模块了:python -m pip install example_package_YOUR_USERNAME_HERE

1
2
3
from example_package_YOUR_USERNAME_HERE import example

example.xxx()

后续每次更新模块后需要修改版本号并将dist删掉重新执行上传模块的步骤

为什么会出现“文件名或内容已存在”或“文件名以前已被使用”错误?

PyPI 上的分发文件名由项目名称、版本号和分发类型的组合组成

出于法律考虑,PyPI 不允许重复使用文件名,即使你的模块已经删除或者你的版本已经删除,仍然无法上传相同名字和版本的模块

pip设置清华镜像源

清华镜像源官网手册

1
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

pip安装包时冲突

有时候你之前装的某些包和后面你想装的包版本不兼容

1
2
3
ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
requests 2.23.0 requires idna<3,>=2.5, but you have idna 3.4 which is incompatible.
requests 2.23.0 requires urllib3!=1.25.0,!=1.25.1,<1.26,>=1.21.1, but you have urllib3 1.26.14 which is incompatible.

虽然你可以使用pip install --upgrade <package name>替换模块版本,但是更方便的解决办法还是直接卸载重装,重装过程中会自动安装相应版本的模块

1
2
3
4
pip uninstall requests

//xxx为你之前要安装的包,会自动安装requests
pip install xxx
 |