python环境安装及中文API

python环境搭建

下载

https://www.python.org/downloads/windows/
Ctrl+F 搜索 Windows installer (64-bit),建议不要安装最新的版本，会出现a lot of的不兼容

安装

双击python-3.9.5-amd64.exe

检查是否安装成功

Ctrl+R 输入cmd打开命令行，输入py可以看到 python 版本，代表安装成功
输入quit()退出即可

安装scrapy

pip3 install scrapy


输入scrapy检查是否安装成功

pip升级命令:

python -m pip install --upgrade pip

pip下载安装:

pip3 install lxml：解析xml
pip3 install beautifulsoup4：解析html
pip3 install html5lib：解析html
pip3 install zope.interface：作为第三方扩展库,提供interface的实现(因为python本身不提供接口的实现)
pip3 install pyopenssl：pyopenssl是一个封装了openssl的python模块。使用它可以方便地进行一些加解密操作。
pip3 install selenium：相当于一个浏览器,用来抓动态页面
pip3 install wheel：用于Python扩展包的非官方Windows二进制文件
pip3 install twisted：Twisted是用Python实现的基于事件驱动的网络引擎框架。Twisted诞生于2000年初，一个可扩展性高、基于事件驱动、跨平台的网络开发框架。
pip3 install Scrapy：爬虫框架,抓取静态页面
pip3 install chardet：检测字符编码
lxml -> zope.interface -> pyopenssl -> twisted -> scrapy
安装过程中若出现问题则可参考：https://www.cnblogs.com/mjtabu/p/13527523.html
中文API参考文档：https://scrapy-chs.readthedocs.io/zh_CN/latest/index.html