Python 资源大全中文版
我想很多程序员应该记得GitHub上有一个Awesome - XXX系列的资源整理。awesome-python是vinta发起维护的Python资源列表,内容包括:Web框架、网络爬虫、网络内容提取、模板引擎、数据库、数据可视化、图片处理、文本处理、自然语言处理、机器学习、日志、代码分析等。由伯乐在线持续更新。
Awesome 系列虽然挺全,但基本只对收录的资源做了极为简要的介绍,如果有更详细的中文介绍,对相应开发者的帮助会更大。这也是我们发起这个开源项目的初衷。
关于项目
我们要做什么?
- 基于awesome-python 列表,我们将对其中的各个资源项进行编译整理。此外还将从其他来源补充好资源。
- 整理后的内容,将收录在伯乐在线资源频道。可参考已整理的内容:
如何为列表贡献新资源?
欢迎大家为列表贡献高质量的新资源,提交PR 时请参照以下要求:
- 请确保推荐的资源自己使用过
- 提交PR 时请注明推荐理由
资源列表管理收到PR 请求后,会定期(每周)在微博转发本周提交的PR 列表,并在微博上面听取使用过这些资源的意见。确认通过后,会加入资源大全。
感谢您的贡献!
本项目的参与者
- 维护者:
- 贡献者:艾凌风、Namco、Daetalus、黄利民、atupal、rainbow、木头lbj、beyondwu、cissoid、李广胜、polyval、冰斌、赵叶宇、л stalgic、硕恩、strongit、yuukilp、chenjiandongx、autopenguin、visonforcoding、Super赛亚人、Since-future、knktc
注:名单不分排名,不定期补充更新
资源列表
环境管理
管理Python 版本和环境的工具
- p:非常简单的交互式python版本管理工具。官网
- pyenv:简单的Python版本管理工具。官网
- Vex:可以在虚拟环境中执行命令。官网
- virtualenv:创建独立Python环境的工具。官网
- virtualenvwrapper:virtualenv的一组扩展。官网
包管理
管理包和依赖的工具。
- pip:Python包和依赖关系管理工具。官网
- pip-tools:保证Python包依赖关系更新的一组工具。官网
- pipenv:Pyhton官方推荐的新一代包管理工具。官网
- conda:跨平台,Python二进制包管理工具。官网
- Curdling:管理Python包的命令行工具。官网
- wheel:Python分发的新标准,意在取代eggs。官网
包仓库
本地PyPI 仓库服务和代理。
- warehouse:下一代PyPI。官网
- bandersnatch:PyPA提供的PyPI镜像工具。官网
- devpi:PyPI服务和打包/测试/分发工具。官网
- localshop:本地PyPI服务(自定义包并且自动对PyPI镜像)。官网
分发
打包为可执行文件以便分发。
- PyInstaller:将Python程序转换成独立的执行文件(跨平台)。官网
- dh-virtualenv:构建并将virtualenv虚拟环境作为一个Debian包来发布。官网
- Nuitka:将脚本、模块、包编译成可执行文件或扩展模块。官网
- py2app:将Python脚本变为独立软件包(Mac OS X)。官网
- py2exe:将Python脚本变为独立软件包(Windows)。官网
- pynsist:一个用来创建Windows安装程序的工具,可以在安装程序中打包Python本身。官网
构建工具
将源码编译成软件。
- buildout:一个构建系统,从多个组件来创建,组装和部署应用。官网
- BitBake:针对嵌入式Linux的类似make的构建工具。官网
- fabricate:对任何语言自动找到依赖关系的构建工具。官网
- PlatformIO:多平台命令行构建工具。官网
- PyBuilder:纯Python实现的持续化构建工具。官网
- SCons:软件构建工具。官网
交互式解析器
交互式Python 解析器。
- IPython:功能丰富的工具,非常有效的使用交互式Python。官网
- bpython:界面丰富的Python解析器。官网
- ptpython:高级交互式Python解析器,构建于python-prompt-toolkit之上。官网
文件
文件管理和MIME(多用途的网际邮件扩充协议)类型检测。
- aiofiles:基于asyncio,提供文件异步操作。官网
- imghdr:(Python标准库)检测图片类型。官网
- mimetypes:(Python标准库)将文件名映射为MIME类型。官网
- path.py:对os.path进行封装的模块。官网
- pathlib:(Python3.4+标准库)跨平台的、面向对象的路径操作库。官网
- python-magic:文件类型检测的第三方库libmagic的Python接口。官网
- Unipath:用面向对象的方式操作文件和目录。官网
- watchdog:管理文件系统事件的API和shell工具。官网
日期和时间
操作日期和时间的类库。
- arrow:更好的Python日期时间操作类库。官网
- Chronyk:Python 3的类库,用于解析手写格式的时间和日期。官网
- dateutil:Python datetime模块的扩展。官网
- delorean:解决Python中有关日期处理的棘手问题的库。官网
- maya:人性化的时间处理库。官网
- moment:一个用来处理时间和日期的Python库。灵感来自于Moment.js。官网
- pendulum:一个比arrow更具有明确的,可预测的行为的时间操作库。官网
- PyTime:一个简单易用的Python模块,用于通过字符串来操作日期/时间。官网
- pytz:现代以及历史版本的世界时区定义。将时区数据库引入Python。官网
- when.py:提供用户友好的函数来帮助用户进行常用的日期和时间操作。官网
文本处理
用于解析和操作文本的库。
- 通用
- chardet:字符编码检测器,兼容Python2和Python3。官网
- difflib:(Python标准库)帮助我们进行差异化比较。官网
- ftfy:让Unicode文本更完整更连贯。官网
- fuzzywuzzy:模糊字符串匹配。官网
- Levenshtein:快速计算编辑距离以及字符串的相似度。官网
- pangu.py:在中日韩语字符和数字字母之间添加空格。官网
- pypinyin:汉字拼音转换工具Python版。官网
- shortuuid:一个生成器库,用以生成简洁的,明白的,URL安全的UUID。官网
- simplejson:Python的JSON编码、解码器。官网
- unidecode:Unicode文本的ASCII转换形式。官网
- uniout:打印可读的字符,而不是转义的字符串。官网
- xpinyin:一个用于把汉字转换为拼音的库。官网
- yfiglet-figlet:pyfiglet -figlet的Python实现。
- flashtext:一个高效的文本查找替换库。官网
- Slug 化
- 解析器
特殊文本格式处理
一些用来解析和操作特殊文本格式的库。
- 通用
- tablib:一个用来处理中表格数据的模块。官网
- Office
- Marmir:把输入的Python数据结构转换为电子表单。官网
- openpyxl:一个用来读写Excel 2010 xlsx/xlsm/xltx/xltm文件的库。官网
- pyexcel:一个提供统一API,用来读写,操作Excel文件的库。官网
- python-docx:读取,查询以及修改Microsoft Word 2007/2008 docx文件。官网
- relatorio:模板化OpenDocument文件。官网
- unoconv:在LibreOffice/OpenOffice支持的任意文件格式之间进行转换。官网
- XlsxWriter:一个用于创建Excel .xlsx文件的Python模块。官网
- xlwings:一个使得在Excel中方便调用Python的库(反之亦然),基于BSD协议。官网
- xlwt:读写Excel文件的数据和格式信息。官网 / xlrd
- Markdown
- YAML
- PyYAML:Python版本的YAML解析器。官网
- CSV
- csvkit:用于转换和操作CSV的工具。官网
- Archive
- unp:一个用来方便解包归档文件的命令行工具。官网
自然语言处理
用来处理人类语言的库。
- NLTK:一个先进的平台,用以构建处理人类语言数据的Python程序。官网
- jieba:中文分词工具。官网
- langid.py:独立的语言识别系统。官网
- Pattern:Python网络信息挖掘模块。官网
- SnowNLP:一个用来处理中文文本的库。官网
- TextBlob:为进行普通自然语言处理任务提供一致的API。官网
- TextGrocery:一简单高效的短文本分类工具,基于LibLinear和Jieba。官网
- thulac:清华大学自然语言处理与社会人文计算实验室研制推出的一套中文词法分析工具包官网
文档
用以生成项目文档的库。
- Sphinx:Python文档生成器。官网
- awesome-sphinxdoc:官网
- MkDocs:对Markdown友好的文档生成器。官网
- pdoc:一个可以替换Epydoc的库,可以自动生成Python库的API文档。官网
- Pycco:文学编程(literate-programming)风格的文档生成器。官网
- readthedocs:一个基于Sphinx/MkDocs的在线文档托管系统,对开源项目免费开放使用。官网
配置
用来保存和解析配置的库。
- config:logging模块作者写的分级配置模块。官网
- ConfigObj:INI文件解析器,带验证功能。官网
- ConfigParser:(Python标准库) INI文件解析器。官网
- profig:通过多种格式进行配置,具有数值转换功能。官网
- python-decouple:将设置和代码完全隔离。官网
命令行工具
用于创建命令行程序的库。
- 命令行程序开发
- asciimatics:跨平台,全屏终端包(即鼠标/键盘输入和彩色,定位文本输出),完整的复杂动画和特殊效果的高级API。官网
- cement:Python的命令行程序框架。官网
- click:一个通过组合的方式来创建精美命令行界面的包。官网
- cliff:一个用于创建命令行程序的框架,可以创建具有多层命令的命令行程序。官网
- clint:Python命令行程序工具。官网
- colorama:跨平台彩色终端文本。官网
- docopt:Python风格的命令行参数解析器。官网
- Gooey:一条命令,将命令行程序变成一个GUI程序。官网
- python-prompt-toolkit:一个用于构建强大的交互式命令行程序的库。官网
- python-fire:Google出品的一个基于Python类的构建命令行界面的库。官网
- Pythonpy:在命令行中直接执行任何Python指令。官网
- 生产力工具
- aws-cli:Amazon Web Services的通用命令行界面。官网
- bashplotlib:在终端中进行基本绘图。官网
- caniusepython3:判断是哪个项目妨碍你你移植到Python3。官网
- cookiecutter:从cookiecutters(项目模板)创建项目的一个命令行工具。官网
- doitlive:一个用来在终端中进行现场演示的工具。官网
- pyftpdlib:一个速度极快和可扩展的Python FTP服务库。官网
- howdoi:通过命令行获取即时的编程问题解答。官网
- httpie:一个命令行HTTP客户端,cURL的替代品,易用性更好。官网
- PathPicker:从bash输出中选出文件。官网
- percol:向UNIX shell传统管道概念中加入交互式选择功能。官网
- SAWS:一个加强版的AWS命令行。官网
- thefuck:修正你之前的命令行指令。官网
- mycli:一个MySQL命令行客户端,具有自动补全和语法高亮功能。官网
- pgcli:Postgres命令行工具,具有自动补全和语法高亮功能。官网
- try:一个从来没有更简单的命令行工具,用来试用python库。官网
下载器
用来进行下载的库.
- s3cmd:一个用来管理Amazon S3和CloudFront的命令行工具。官网
- s4cmd:超级S3命令行工具,性能更加强劲。官网
- you-get:一个YouTube/Youku/Niconico视频下载器,使用Python3编写。官网
- youtube-dl:一个小巧的命令行程序,用来下载YouTube视频。官网
图像处理
用来操作图像的库.
- pillow:Pillow是一个更加易用版的PIL。官网
- hmap:图像直方图映射。官网
- imgSeek:一个使用视觉相似性搜索一组图片集合的项目。官网
- nude.py:裸体检测。官网
- pyBarcode:不借助PIL库在Python程序中生成条形码。官网
- pygram:类似Instagram的图像滤镜。官网
- python-qrcode:一个纯Python实现的二维码生成器。官网
- Quads:基于四叉树的计算机艺术。官网
- scikit-image:一个用于(科学)图像处理的Python库。官网
- thumbor:一个小型图像服务,具有剪裁,尺寸重设和翻转功能。官网
- wand:MagickWand的Python绑定。MagickWand是ImageMagick的C API 。官网
- face_recognition:简单易用的python人脸识别库。官网
OCR
光学字符识别库。
- pyocr:Tesseract和Cuneiform的一个封装(wrapper)。官网
- pytesseract:Google Tesseract OCR的另一个封装(wrapper)。官网
- python-tesseract:Google Tesseract OCR 的一个包装类。
音频
用来操作音频的库
- audiolazy:Python的数字信号处理包。官网
- audioread:交叉库(GStreamer + Core Audio + MAD + FFmpeg)音频解码。官网
- beets:一个音乐库管理工具及MusicBrainz标签添加工具。官网
- dejavu:音频指纹提取和识别。官网
- django-elastic-transcoder:Django + Amazon Elastic Transcoder。官网
- eyeD3:一个用来操作音频文件的工具,具体来讲就是包含ID3元信息的MP3文件。官网
- id3reader:一个用来读取MP3元数据的Python模块。官网
- m3u8:一个用来解析m3u8文件的模块。官网
- mutagen:一个用来处理音频元数据的Python模块。官网
- pydub:通过简单、简洁的高层接口来操作音频文件。官网
- pyechonest:Echo Nest API的Python客户端。官网
- talkbox:一个用来处理演讲/信号的Python库。官网
- TimeSide:开源web音频处理框架。官网
- tinytag:一个用来读取MP3, OGG, FLAC以及Wave文件音乐元数据的库。官网
- mingus:一个高级音乐理论和曲谱包,支持MIDI文件和回放功能。官网
Video
用来操作视频和GIF 的库。
地理位置
地理编码地址以及用来处理经纬度的库。
- GeoDjango:世界级地理图形web框架。官网
- GeoIP:MaxMind GeoIP Legacy数据库的Python API。官网
- geojson:GeoJSON的Python绑定及工具。官网
- geopy:Python地址编码工具箱。官网
- pygeoip:纯Python GeoIP API。官网
- django-countries:一个Django应用程序,提供用于表格的国家选择功能,国旗图标静态文件以及模型中的国家字段。官网
HTTP
使用HTTP 的库。
- aiohttp:基于asyncio的异步HTTP网络库。官网
- requests:人性化的HTTP请求库。官网
- grequests:requests库+ gevent ,用于异步HTTP请求. 官网
- httplib2:全面的HTTP客户端库。官网
- treq:类似requests的Python API构建于Twisted HTTP客户端之上。官网
- urllib3:一个具有线程安全连接池,支持文件post,清晰友好的HTTP库。官网
数据库
Python 实现的数据库。
- pickleDB:一个简单,轻量级键值储存数据库。官网
- PipelineDB:流式SQL数据库。官网
- TinyDB:一个微型的,面向文档型数据库。官网
- ZODB:一个Python原生对象数据库。一个键值和对象图数据库。官网
数据库驱动
用来连接和操作数据库的库。
- MySQL:awesome-mysql系列
- aiomysql:基于asyncio的异步MySQL数据库操作库。官网
- mysql-python:Python的MySQL数据库连接器。官网
- ysqlclient:mysql-python分支,支持Python 3。
- oursql:一个更好的MySQL连接器,支持原生预编译指令和BLOBs。官网
- PyMySQL:纯Python MySQL驱动,兼容mysql-python。官网
- PostgreSQL
- 其他关系型数据库
- NoSQL 数据库
- asyncio-redis:基于asyncio的redis客户端(PEP 3156)。官网
- cassandra-python-driver:Cassandra的Python驱动。官网
- HappyBase:一个为Apache HBase设计的,对开发者友好的库。官网
- Plyvel:一个快速且功能丰富的LevelDB的Python接口。官网
- py2neo:Neo4j restful接口的Python封装客户端。官网
- pycassa:Cassandra的Python Thrift驱动。官网
- PyMongo:MongoDB的官方Python客户端。官网
- redis-py:Redis的Python客户端。官网
- telephus:基于Twisted的Cassandra客户端。官网
- txRedis:基于Twisted的Redis客户端。官网
ORM
实现对象关系映射或数据映射技术的库。
- 关系型数据库
- NoSQL 数据库
- 其他
- butterdb:Google Drive电子表格的Python ORM。官网
Web 框架
全栈Web 框架。
- Django:Python界最流行的web框架。官网
- Flask:一个Python微型框架。官网
- pyramid:一个小巧,快速,接地气的开源Python web 框架。
- Bottle:一个快速小巧,轻量级的WSGI微型web框架。官网
- CherryPy:一个极简的Python web框架,服从HTTP/1.1协议且具有WSGI线程池。官网
- TurboGears:一个可以扩展为全栈解决方案的微型框架。官网
- web.py:一个Python的web框架,既简单,又强大。官网
- web2py:一个全栈web框架和平台,专注于简单易用。官网
- Tornado:一个web框架和异步网络库。官网
- sanic:基于Python3.5+的异步网络框架。官网
权限
允许或拒绝用户访问数据或功能的库。
- Carteblanche:站在用户和设计者角度开发的一个代码对齐模块,很好地处理了代码导航及权限。官网
- django-guardian:Django 1.2+实现了单个对象权限。官网
- django-rules:一个小巧但是强大的应用,提供对象级别的权限管理,且不需要使用数据库。官网
CMS
内容管理系统
- odoo-cms:一个开源的,企业级CMS,基于odoo。官网
- django-cms:一个开源的,企业级CMS,基于Django。官网
- djedi-cms:一个轻量级但却非常强大的Django CMS ,考虑到了插件,内联编辑以及性能。官网
- FeinCMS:基于Django构建的最先进的内容管理系统之一。官网
- Kotti:一个高级的,Python范的web应用框架,基于Pyramid构建。官网
- Mezzanine:一个强大的,持续的,灵活的内容管理平台。官网
- Opps:一个为杂志,报纸网站以及大流量门户网站设计的CMS平台,基于Django。官网
- Plone:一个构建于开源应用服务器Zope之上的CMS。官网
- Quokka:灵活,可扩展的小型CMS,基于Flask和MongoDB。官网
- Wagtail:一个Django内容管理系统。官网
- Widgy:最新的CMS框架,基于Django。官网
电子商务
用于电子商务以及支付的框架和库。
- django-oscar:一个用于Django的开源的电子商务框架。官网
- django-shop:一个基于Django的店铺系统。官网
- Cartridge:一个基于Mezzanine构建的购物车应用。官网
- shoop:一个基于Django的开源电子商务平台。官网
- alipay:非官方的Python支付宝API。官网
- merchant:一个可以接收来自多种支付平台支付的Django应用。官网
- money:一个货币类库。带有可选的CLDR后端本地化格式,提供可扩展的货币兑换解决方案。官网
- python-currencies:显示货币格式以及它的数值。官网
RESTful API
用来开发RESTful APIs 的库
- Django
- django-rest-framework:一个强大灵活的工具,用来构建web API。官网
- django-tastypie:为Django应用开发API。官网
- django-formapi:为Django的表单验证,创建JSON APIs 。官网
- Flask
- Pyramid
- cornice:一个Pyramid的REST框架。官网
- 与框架无关的
验证
实现验证方案的库。
- OAuth
- Authomatic:简单但是强大的框架,身份验证/授权客户端。官网
- django-allauth:Django的验证应用。官网
- django-oauth-toolkit:为Django用户准备的OAuth2。官网
- django-oauth2-provider:为Django应用提供OAuth2接入。官网
- Flask-OAuthlib:OAuth 1.0/a, 2.0客户端实现,供Flask使用。官网
- OAuthLib:一个OAuth请求-签名逻辑通用、完整的实现。官网
- python-oauth2:一个完全测试的抽象接口。用来创建OAuth客户端和服务端。官网
- python-social-auth:一个设置简单的社会化验证方式。官网
- rauth:OAuth 1.0/a, 2.0,和Ofly的Python库。官网
- sanction:一个超级简单的OAuth2客户端实现。官网
- 其他
模板引擎
模板生成和词法解析的库和工具。
- Jinja2:一个现代的,对设计师友好的模板引擎。官网
- Chameleon:一个HTML/XML模板引擎。模仿了ZPT(Zope Page Templates),进行了速度上的优化。官网
- Genshi:Python模板工具,用以生成web感知的结果。官网
- Mako:Python平台的超高速轻量级模板。官网
队列
处理事件以及任务队列的库。
- celery:一个异步任务队列/作业队列,基于分布式消息传递。官网
- huey:小型多线程任务队列。官网
- mrq:Mr. Queue -一个Python的分布式worker任务队列,使用Redis和gevent。官网
- rq:简单的Python作业队列。官网
- simpleq:一个简单的,可无限扩张的,基于亚马逊SQS的队列。官网
搜索
对数据进行索引和执行搜索查询的库和软件。
- django-haystack:Django模块化搜索。官网
- elasticsearch-py:Elasticsearch的官方底层Python客户端。官网
- elasticsearch-dsl-py:Elasticsearch的官方高级Python客户端。官网
- solrpy:solr的Python客户端。官网
- Whoosh:一个快速的纯Python搜索引擎库。官网
动态消息
用来创建用户活动的库。
资源管理
管理、压缩、缩小网站资源的工具。
- django-compressor:将链接和内联的JavaScript或CSS压缩到一个单独的缓存文件中。官网
- django-storages:一个针对Django的自定义存储后端的工具集合。官网
- fanstatic:打包、优化,并且把静态文件依赖作为Python的包来提供。官网
- File Conveyor:一个后台驻留的程序,用来发现和同步文件到CDNs, S3和FTP。官网
- Flask-Assets:帮你将web资源整合到你的Flask app中。官网
- jinja-assets-compressor:一个Jinja扩展,用来编译和压缩你的资源。官网
- webassets:为你的静态资源打包、优化和管理生成独一无二的缓存URL。官网
缓存
缓存数据的库。
- Beaker:一个缓存和会话库,可以用在web应用和独立Python脚本和应用上。官网
- django-cache-machine:Django模型的自动缓存和失效。官网
- django-cacheops:具有自动颗粒化事件驱动失效功能的ORM。官网
- django-viewlet:渲染模板,同时具有额外的缓存控制功能。官网
- dogpile.cache:dogpile.cache是Beaker的下一代替代品,由同一作者开发。官网
- HermesCache:Python缓存库,具有基于标签的失效和dogpile effect保护功能。官网
- johnny-cache:django应用缓存框架。官网
- pylibmc:libmemcached接口的Python封装。官网
电子邮件
用来发送和解析电子邮件的库。
- django-celery-ses:带有AWS SES和Celery的Django email后端。官网
- envelopes:供人类使用的电子邮件库。官网
- flanker:一个email地址和Mime解析库。官网
- imbox:Python IMAP库。官网
- inbox.py:Python SMTP服务器。官网
- inbox:一个开源电子邮件工具箱。官网
- lamson:Python风格的SMTP应用服务器。官网
- mailjet:Mailjet API实现,用来提供批量发送邮件,统计等功能。官网
- marrow.mailer:高性能可扩展邮件分发框架。官网
- modoboa:一个邮件托管和管理平台,具有现代的、简约的Web UI。官网
- pyzmail:创建,发送和解析电子邮件。官网
- Talon:Mailgun库,用来抽取信息和签名。官网
- yagmail:yagmail是一个GMAIL / SMTP客户端,旨在使其尽可能简单地发送电子邮件。官网
国际化
用来进行国际化的库。
URL 处理
解析URLs 的库
- furl:一个让处理URL更简单小型Python库。官网
- purl:一个简单的,不可变的URL类,具有简洁的API来进行询问和处理。官网
- pyshorteners:一个纯Python URL缩短库。官网
- shorturl:生成短小URL和类似bit.ly短链的Python实现。官网
- webargs:一个解析HTTP请求参数的库,内置对流行web框架的支持,包括Flask, Django, Bottle, Tornado和Pyramid。官网
HTML 处理
处理HTML 和XML 的库。
- BeautifulSoup:以Python风格的方式来对HTML或XML进行迭代,搜索和修改。官网
- bleach:一个基于白名单的HTML清理和文本链接库。官网
- cssutils:一个Python的CSS库。官网
- html5lib:一个兼容标准的HTML文档和片段解析及序列化库。官网
- lxml:一个非常快速,简单易用,功能齐全的库,用来处理HTML和XML。官网
- MarkupSafe:为Python实现XML/HTML/XHTML标记安全字符串。官网
- pyquery:一个解析HTML的库,类似jQuery。官网
- requests-html:人性化的,Pythonic的HTML解析库。官网
- untangle:将XML文档转换为Python对象,使其可以方便的访问。官网
- xhtml2pdf:HTML/CSS转PDF工具。官网
- xmltodict:像处理JSON一样处理XML。官网
爬取网络站点的库
- Scrapy:一个快速高级的屏幕爬取及网页采集框架。官网
- cola:一个分布式爬虫框架。官网
- Demiurge:基于PyQuery的爬虫微型框架。官网
- feedparser:通用feed解析器。官网
- Grab:站点爬取框架。官网
- MechanicalSoup:用于自动和网络站点交互的Python库。官网
- portia:Scrapy可视化爬取。官网
- pyspider:一个强大的爬虫系统。官网
- RoboBrowser:一个简单的,Python风格的库,用来浏览网站,而不需要一个独立安装的浏览器。官网
网页内容提取
用于进行网页内容提取的库。
- Haul:一个可以扩展的图像爬取工具。官网
- html2text:将HTML转换为Markdown格式文本。官网
- lassie:人性化的网页内容检索库。官网
- micawber:一个小型网页内容提取库,用来从URLs提取富内容。官网
- newspaper:使用Python进行新闻提取,文章提取以及内容策展。官网
- opengraph:一个用来解析开放内容协议(Open Graph Protocol)的Python模块。官网
- python-goose:HTML内容/文章提取器。官网
- python-readability:arc90公司readability工具的Python高速端口。官网
- sanitize:为杂乱的数据世界带来调理性。官网
- sumy:一个为文本文件和HTML页面进行自动摘要的模块。官网
- textract:从任何格式的文档中提取文本,Word,PowerPoint,PDFs等等。官网
表单
进行表单操作的库。
- Deform:Python HTML表单生成库,受到了formish表单生成库的启发。官网
- django-bootstrap3:集成了Bootstrap 3的Django。官网
- django-crispy-forms:一个Django应用,他可以让你以一种非常优雅且DRY(Don't repeat yourself)的方式来创建美观的表单。官网
- django-remote-forms:一个平台独立的Django表单序列化工具。官网
- WTForms:一个灵活的表单验证和呈现库。官网
- WTForms-JSON:一个WTForms扩展,用来处理JSON数据。官网
数据验证
数据验证库。多用于表单验证。
- Cerberus:一个映射验证器(mappings-validator)。支持多种规则,提供归一化功能,可以方便地定制为Python风格的schema定义。官网
- colander:一个用于对从XML, JSON,HTML表单获取的数据或其他同样简单的序列化数据进行验证和反序列化的系统。官网
- kmatch:一种用于匹配/验证/筛选Python字典的语言。官网
- schema:一个用于对Python数据结构进行验证的库。官网
- Schematics:数据结构验证。官网
- valideer:轻量级可扩展的数据验证和适配库。官网
- voluptuous:一个Python数据验证库。主要是为了验证传入Python的JSON,YAML等数据。官网
- jsonschema:JSON Schema的python实现,用于JSON数据的验证。官网
反垃圾技术
帮助你和电子垃圾进行战斗的库。
- django-simple-captcha:一个简单、高度可定制的Django应用,可以为任何Django表单添加验证码。官网
- django-simple-spam-blocker:一个用于Django的简单的电子垃圾屏蔽工具。官网
标记
用来进行标记的库。
- django-taggit:简单的Django标记工具。官网
管理面板
管理界面库。
- Ajenti:一个你的服务器值得拥有的管理面板。官网
- django-suit:Django管理界面的一个替代品(仅对于非商业用途是免费的)。官网
- django-xadmin:Django admin的一个替代品,具有很多不错的功能。官网
- flask-admin:一个用于Flask的简单可扩展的管理界面框架。官网
- flower:一个对Celery集群进行实时监控和提供web管理界面的工具。官网
- Grappelli:Django管理界面的一个漂亮的皮肤。官网
- Wooey:一个Django应用,可以为Python脚本创建web用户界面。官网
静态站点生成器
静态站点生成器是一个软件,它把文本和模板作为输入,然后输出HTML 文件。
- Pelican:使用Markdown或ReST来处理内容, Jinja 2来制作主题。支持DVCS, Disqus.。AGPL许可。官网
- Cactus:为设计师设计的静态站点生成器。官网
- Hyde:基于Jinja2的静态站点生成器。官网
- Nikola:一个静态网站和博客生成器。官网
- Tinkerer:Tinkerer是一个博客引擎/静态站点生成器,由Sphinx驱动。官网
- Lektor:一个简单易用的静态CMS和博客引擎。官网
进程
操作系统进程启动及通信库。
- envoy:比Python subprocess模块更人性化。官网
- sarge:另一种subprocess模块的封装。官网
- sh:一个完备的subprocess替代库。官网
并发和并行
用以进行并发和并行操作的库。
- multiprocessing:(Python标准库)基于进程的“线程”接口。官网
- threading:(Python标准库)更高层的线程接口。官网
- eventlet:支持WSGI的异步框架。官网
- gevent:一个基于协程的Python网络库,使用greenlet。官网
- Tomorrow:用于产生异步代码的神奇的装饰器语法实现。官网
- uvloop:在libuv之上超快速实现asyncio事件循环。官网
网络
用于网络编程的库。
- asyncio:(Python标准库)异步I/O,事件循环,协程以及任务。官网
- Twisted:一个事件驱动的网络引擎。官网
- pulsar:事件驱动的并发框架。官网
- diesel:基于Greenlet的事件I/O框架。官网
- pyzmq:一个ZeroMQ消息库的Python封装。官网
- Toapi:一个轻巧,简单,快速的Flask库,致力于为所有网站提供API服务。官网
- txZMQ:基于Twisted的ZeroMQ消息库的Python封装。官网
WebSocket
帮助使用WebSocket 的库。
- AutobahnPython:给Python 、使用的WebSocket & WAMP基于Twisted和asyncio。官网
- Crossbar:开源统一应用路由(Websocket & WAMP for Python on Autobahn)。官网
- django-socketio:给Django用的WebSockets。官网
- WebSocket-for-Python:为Python2/3以及PyPy编写的WebSocket客户端和服务器库。官网
WSGI 服务器
兼容WSGI 的web 服务器
- gunicorn:Pre-forked,部分是由C语言编写的。官网
- uwsgi:uwsgi项目的目的是开发一组全栈工具,用来建立托管服务,由C语言编写。官网
- bjoern:异步,非常快速,由C语言编写。官网
- fapws3:异步(仅对于网络端),由C语言编写。官网
- meinheld:异步,部分是由C语言编写的。官网
- netius:异步,非常快速。官网
- paste:多线程,稳定,久经考验。官网
- rocket:多线程。官网
- waitress:多线程,是它驱动着Pyramid框架。官网
- Werkzeug:一个WSGI工具库,驱动着Flask ,而且可以很方便大嵌入到你的项目中去。官网
RPC 服务器
兼容RPC 的服务器。
- SimpleJSONRPCServer:这个库是JSON-RPC规范的一个实现。官网
- SimpleXMLRPCServer:(Python标准库)简单的XML-RPC服务器实现,单线程。官网
- zeroRPC:zerorpc是一个灵活的RPC实现,基于ZeroMQ和MessagePack。官网
密码学
- cryptography:这个软件包意在提供密码学基本内容和方法提供给Python开发者。官网
- hashids:在Python中实现hashids。官网
- Paramiko:SSHv2协议的Python (2.6+, 3.3+) ,提供客户端和服务端的功能。官网
- Passlib:安全密码存储/哈希库,官网
- PyCrypto:Python密码学工具箱。官网
- PyNacl:网络和密码学(NaCl)库的Python绑定。官网
图形用户界面
用来创建图形用户界面程序的库。
- curses:内建的ncurses封装,用来创建终端图形用户界面。官网
- enaml:使用类似QML的Declaratic语法来创建美观的用户界面。官网
- kivy:一个用来创建自然用户交互(NUI)应用程序的库,可以运行在Windows, Linux, Mac OS X, Android以及iOS平台上。官网
- pyglet:一个Python的跨平台窗口及多媒体库。官网
- PyQt:跨平台用户界面框架Qt的Python绑定,支持Qt v4和Qt v5。官网
- PySide:跨平台用户界面框架Qt的Python绑定,支持Qt v4。官网
- Tkinter:Tkinter是Python GUI的一个事实标准库。官网
- Toga:一个Python原生的,操作系统原生的GUI工具包。官网
- urwid:一个用来创建终端GUI应用的库,支持组件,事件和丰富的色彩等。官网
- wxPython:wxPython是wxWidgets C++类库和Python语言混合的产物。官网
- PyGObject:GLib/GObject/GIO/GTK+ (GTK+3)的Python绑定。官网
- Flexx:Flexx是一个纯Python语言编写的用来创建GUI程序的工具集,它使用web技术进行界面的展示。官网
游戏开发
超赞的游戏开发库。
- Cocos2d:cocos2d是一个用来开发2D游戏,示例和其他图形/交互应用的框架。基于pyglet。官网
- Panda3D:由迪士尼开发的3D游戏引擎,并由卡内基梅陇娱乐技术中心负责维护。使用C++编写,针对Python进行了完全的封装。官网
- Pygame:Pygame是一组Python模块,用来编写游戏。官网
- PyOgre:Ogre 3D渲染引擎的Python绑定,可以用来开发游戏和仿真程序等任何3D应用。官网
- PyOpenGL:OpenGL的Python绑定及其相关APIs。官网
- PySDL2:SDL2库的封装,基于ctypes。官网
- RenPy:一个视觉小说(visual novel)引擎。官网
日志
用来生成和操作日志的库。
- logging:(Python标准库)为Python提供日志功能。官网
- logbook:Logging库的替代品。官网
- Eliot:为复杂的和分布式系统创建日志。官网
- Raven:Sentry的Python客户端。官网
- Sentry:实时记录和收集日志的服务器。官网
测试
进行代码库测试和生成测试数据的库。
- 测试框架
- unittest:(Python标准库)单元测试框架。官网
- nose:nose扩展了unittest的功能。官网
- contexts:一个Python 3.3+的BDD框架。受到C# – Machine.Specifications的启发。官网
- hypothesis:Hypothesis是一个基于先进的Quickcheck风格特性的测试库。官网
- mamba:Python的终极测试工具,拥护BDD。官网
- PyAutoGUI:PyAutoGUI是一个人性化的跨平台GUI自动测试模块。官网
- pyshould:Should风格的断言,基于PyHamcrest。官网
- pytest:一个成熟的全功能Python测试工具。官网
- green:干净,多彩的测试工具。官网
- pyvows:BDD风格的测试工具,受Vows.js的启发。官网
- Robot Framework:一个通用的自动化测试框架。官网
- Web 测试
- Mock 测试
- 对象工厂
- 代码覆盖率
- 伪数据
- 错误处理
- FuckIt.py:FuckIt.py使用最先进的技术来保证你的Python代码无论对错都能继续运行。官网
代码分析和Lint 工具
进行代码分析,解析和操作代码库的库和工具。
- 代码分析
- Lint 工具
- 代码格式化
调试工具
用来进行代码调试的库。
- 调试器
- 性能分析器
- lineprofiler:逐行性能分析。官网
- Memory Profiler:监控Python代码的内存使用。官网、内存
- profiling:一个交互式Python性能分析工具。官网
- 其他
科学计算和数据分析
用来进行科学计算和数据分析的库。
- astropy:一个天文学Python库。官网
- bcbio-nextgen:这个工具箱为全自动高通量测序分析提供符合最佳实践的处理流程。官网
- bccb:生物分析相关代码集合。官网
- Biopython:Biopython是一组可以免费使用的用来进行生物计算的工具。官网
- blaze:NumPy和Pandas的大数据接口。官网
- cclib:一个用来解析和解释计算化学软件包输出结果的库。官网
- NetworkX:一个为复杂网络设计的高性能软件。官网
- Neupy:执行和测试各种不同的人工神经网络算法。官网
- Numba:Python JIT (just in time)编译器,针对科学用的Python ,由Cython和NumPy的开发者开发。官网
- NumPy:使用Python进行科学计算的基础包。官网
- Open Babel:一个化学工具箱,用来描述多种化学数据。官网
- Open Mining:使用Python挖掘商业情报(BI) (Pandas web接口)。官网
- orange:通过可视化编程或Python脚本进行数据挖掘,数据可视化,分析和机器学习。官网
- Pandas:提供高性能,易用的数据结构和数据分析工具。官网
- PyDy:PyDy是Python Dynamics的缩写,用来为动力学运动建模工作流程提供帮助,基于NumPy, SciPy, IPython和matplotlib。官网
- PyMC:马尔科夫链蒙特卡洛采样工具。官网
- RDKit:化学信息学和机器学习软件。官网
- SciPy:由一些基于Python ,用于数学,科学和工程的开源软件构成的生态系统。官网
- statsmodels:统计建模和计量经济学。官网
- SymPy:一个用于符号数学的Python库。官网
- zipline:一个Python算法交易库。官网
- Bayesian-belief-networks:优雅的贝叶斯信念网络框架。官网
数据可视化
进行数据可视化的库。参见: awesome-javascript。
- matplotlib:一个Python 2D绘图库。官网
- bokeh:用Python进行交互式web绘图。官网
- ggplot:ggplot2给R提供的API的Python版本。官网
- plotly:协同Python和matplotlib工作的web绘图库。官网
- pyecharts:基于百度Echarts的数据可视化库。官网
- pygal:一个Python SVG图表创建工具。官网
- pygraphviz:Graphviz的Python接口。官网
- PyQtGraph:交互式实时2D/3D/图像绘制及科学/工程学组件。官网
- SnakeViz:一个基于浏览器的Python's cProfile模块输出结果查看工具。官网
- vincent:把Python转换为Vega语法的转换工具。官网
- VisPy:基于OpenGL的高性能科学可视化工具。官网
计算机视觉
计算机视觉库。
- OpenCV:开源计算机视觉库。官网
- pyocr:Tesseract和Cuneiform的包装库。官网
- pytesseract:Google Tesseract OCR的另一包装库。官网
- SimpleCV:一个用来创建计算机视觉应用的开源框架。官网
机器学习
机器学习库。参见: awesome-machine-learning .
- Caffe:一个Caffe的python接口。官网
- Caffe2:一个轻量级的,模块化的,可扩展的深度学习框架。官网
- Crab:灵活、快速的推荐引擎。官网
- gensim:人性化的话题建模库。官网
- hebel:GPU加速的深度学习库。官网
- keras :以tensorflow/theano/CNTK为后端的深度学习封装库,快速上手神经网络。官网
- MXNet:一个高效和灵活的深度学习框架。官网
- NuPIC:智能计算Numenta平台。官网
- pattern:Python网络挖掘模块。官网
- PyBrain:另一个Python机器学习库。官网
- pydeep:Python深度学习库。官网
- Pylearn2:一个基于Theano的机器学习库。官网
- python-recsys:一个用来实现推荐系统的Python库。官网
- Pytorch:一个具有张量和动态神经网络,并有强大GPU加速能力的深度学习框架。官网
- scikit-learn:基于SciPy构建的机器学习Python模块。官网
- skflow:一个TensorFlow的简化接口(模仿scikit-learn)。官网
- TensorFlow:谷歌开源的最受欢迎的深度学习框架。官网
- Theano:一个快速数值计算库。官网
- vowpalporpoise:轻量级Vowpal Wabbit的Python封装。官网
MapReduce
MapReduce 框架和库。
- dpark:Spark的Python克隆版,一个类似MapReduce的框架。官网
- dumbo:这个Python模块可以让人轻松的编写和运行Hadoop程序。官网
- luigi:这个模块帮你构建批处理作业的复杂流水线。官网
- mrjob:在Hadoop或Amazon Web Services上运行MapReduce任务。官网
- PySpark:Spark的Python API 。官网
- streamparse:运行针对事实数据流的Python代码。集成了Apache Storm。官网
函数式编程
使用Python 进行函数式编程。
- CyToolz:Toolz的Cython实现:高性能函数式工具。官网
- fn.py:在Python中进行函数式编程:实现了一些享受函数式编程缺失的功能。官网
- funcy:炫酷又实用的函数式工具。官网
- Toolz:一组用于迭代器,函数和字典的函数式编程工具。官网
第三方API
用来访问第三方API的库。参见:List of Python API Wrappers and Libraries。
- apache-libcloud:一个为各种云设计的Python库。官网
- boto:Amazon Web Services的Python接口。官网
- django-wordpress:WordPress models and views for Django. 官网
- facebook-sdk:Facebook平台的Python SDK. 官网
- facepy:Facepy让和Facebook's Graph API的交互变得更容易。官网
- gmail:Gmail的Python接口。官网
- google-api-python-client:Python用的Google APIs客户端库。官网
- gspread:Google电子表格的Python API. 官网
- twython:Twitter API的封装。官网
DevOps 工具
用于DevOps 的软件和库。
- Ansible:一个非常简单的IT自动化平台。官网
- SaltStack:基础设施自动化和管理系统。官网
- OpenStack:用于构建私有和公有云的开源软件。官网
- Docker Compose:快速,分离的开发环境,使用Docker。官网
- Fabric:一个简单的,Python风格的工具,用来进行远程执行和部署。官网
- cuisine:为Fabric提供一系列高级函数。官网
- Fabtools:一个用来编写超赞的Fabric文件的工具。官网
- gitapi:Git的纯Python API。官网
- hgapi:Mercurial的纯Python API。官网
- honcho:Foreman的Python克隆版,用来管理基于Procfile的应用。官网
- pexpect:Controlling interactive programs in a pseudo-terminal like在一个伪终端中控制交互程序,就像GNU expect一样。官网
- psutil:一个跨平台进程和系统工具模块。官网
- supervisor:UNIX的进程控制系统。官网
任务调度
任务调度库。
- APScheduler:轻巧但强大的进程内任务调度,使你可以调度函数。官网
- django-schedule:一个Django排程应用。官网
- doit:一个任务执行和构建工具。官网
- gunnery:分布式系统使用的多用途任务执行工具,具有web交互界面。官网
- Joblib:一组为Python提供轻量级作业流水线的工具。官网
- Plan:如有神助地编写crontab文件。官网
- schedule:人性化的Python任务调度库。官网
- Spiff:使用纯Python实现的强大的工作流引擎。官网
- TaskFlow:一个可以让你方便执行任务的Python库,一致并且可靠。官网 * AirFlow:Airflow是Airbnb公司开源的,是一个工作流分配管理系统,通过有向非循环图的方式管理任务流程,设置任务依赖关系和时间调度。官方
外来函数接口
使用外来函数接口的库。
- cffi:用来调用C代码的外来函数接口。官网
- ctypes:(Python标准库)用来调用C代码的外来函数接口。官网
- PyCUDA:Nvidia CUDA API的封装。官网
- SWIG:简化的封装和接口生成器。官网
高性能
让Python 更快的库。
- Cython:优化的Python静态编译器。使用类型混合使Python编译成C或C++模块来获得性能的极大提升。官网
- PeachPy:嵌入Python的x86-64汇编器。可以被用作Python内联的汇编器或者是独立的汇编器,用于Windows, Linux, OS X, Native Client或者Go 。官网
- PyPy:使用Python实现的Python。解释器使用黑魔法加快Python运行速度且不需要加入额外的类型信息。官网
- Pyston:使用LLVM和现代JIT技术构建的Python实现,目标是为了获得很好的性能。官网
- Stackless Python:一个强化版的Python。官网
微软的Windows 平台
在Windows 平台上进行Python 编程。
- Python(x,y):面向科学应用的Python发行版,基于Qt和Spyder。官网
- pythonlibs:非官方的Windows平台Python扩展二进制包。官网
- PythonNet:Python与.NET公共语言运行库(CLR)的集成。官网
- PyWin32:针对Windows的Python扩展。官网
- WinPython:Windows 7/8系统下便携式开发环境。官网
网络可视化和SDN
用来进行网络可视化和SDN(软件定义网络)的工具和库。
- Mininet:一款流行的网络模拟器以及用Python编写的API。官网
- POX:一个针对基于Python的软件定义网络应用(例如OpenFlow SDN控制器)的开源开发平台。官网
- Pyretic:火热的SDN编程语言中的一员,为网络交换机和模拟器提供强大的抽象能力。官网
- SDX Platform:基于SDN的IXP实现,影响了Mininet, POX和Pyretic。官网
- NRU:一个基于组件的软件定义网络框架。官网
硬件
用来对硬件进行编程的库。
- ino:操作Arduino的命令行工具。官网
- Pyro:Python机器人编程库。官网
- PyUserInput:跨平台的,控制鼠标和键盘的模块。官网
- scapy:一个非常棒的操作数据包的库。官网
- wifi:一个Python库和命令行工具用来在Linux平台上操作WiFi。官网
- Pingo:Pingo为类似Raspberry Pi,pcDuino, Intel Galileo等设备提供统一的API用以编程。官网
兼容性
帮助从Python 2 向Python 3 迁移的库。
- Python-Future:这就是Python 2和Python 3之间丢失的那个兼容性层。官网
- Python-Modernize:使Python代码更加现代化以便最终迁移到Python 3。官网
- Six:Python 2和3的兼容性工具。官网
杂项
不属于上面任何一个类别,但是非常有用的库。
- blinker:一个快速的Python进程内信号/事件分发系统。官网
- itsdangerous:一系列辅助工具用来将可信的数据传入不可信的环境。官网
- pluginbase:一个简单但是非常灵活的Python插件系统。官网
- Pychievements:一个用来创建和追踪成就的Python框架。官网
- Tryton:一个通用商务框架。官网
算法和设计模式
Python 实现的算法和设计模式。
- algorithms:一个Python算法模块。官网
- python-patterns:Python设计模式的集合。官网
- sortedcontainers:快速,纯Python实现的SortedList,SortedDict和SortedSet类型。官网
编辑器插件
编辑器和IDE 的插件
- Emacs
- Elpy:Emacs Python开发环境。官网
- Sublime Text
- Vim
- YouCompleteMe:引入基于Jedi的Python自动补全引擎。官网
- Jedi-vim:绑定Vim和Jedi自动补全库对Python进行自动补全。官网
- Python-mode:将Vim变成Python IDE的一款多合一插件。官网
- Visual Studio
- PTVS:Visual Studio的Python工具。官网
集成开发环境
流行的Python 集成开发环境。
- PyCharm:商业化的Python IDE ,由JetBrains开发。也有免费的社区版提供。官网
- LiClipse:基于Eclipse的免费多语言IDE 。使用PyDev来支持Python 。官网
- Spyder:开源Python IDE。官网
自动聊天工具
用于开发聊天机器人的库
- Errbot:最简单和最流行的聊天机器人用来实现自动聊天工具。官网
服务
在线工具和简化开发的API 。
金融数据
持续集成
参见: awesome-CIandCD .
- Travis CI:一个流行的工具,为你的开源和私人项目提供持续集成服务。(仅支持GitHub) 官网
- CircleCI:一个持续集成工具,可以非常快速的进行并行测试。(仅支持GitHub) 官网
- Vexor CI:一个为私人app提供持续集成的工具,支持按分钟付费。官网
- Wercker:基于Docker平台,用来构建和部署微服务。官网
代码质量
资源
在这里可以找到新的Python 库。
网站
- r/Python
- CoolGithubProjects
- Django Packages
- Full Stack Python
- Python 3 Wall of Superpowers
- Python Hackers
- Python ZEEF
- Trending Python repositories on GitHub today
- PyPI Ranking
周刊
学习指南
- Scipy-lecture-notes:如何用Python来做学术?官网
- SScientific-python-lectures:Python科学计算的资料。官网
- Mario-Level-1:用Python和Pygame写的超级马里奥第一关。官网
- Python Koans:Python的交互式学习工具。官网
- Minecraft:用python写的Minecraft游戏。官网
- pycrumbs:Python资源大全。官网
- python-patterns:使用python实现设计模式。官网
- Projects:Python项目大集合。官网
- The Hitchhiker's Guide to Python:旅行者的Python学习指南。官网
- Code Like a Pythonista: Idiomatic Python:如何像Python高手(Pythonista)一样编程。官网
知名网站
值得关注的Python 技术站点。
中文站点
- 伯乐在线Python频道:分享Python开发技术、相关的行业动态。官网
英文站点
https://github.com/jobbole/awesome-python-cn