win10 webMagic爬虫前的安装

一：win10安装python

webMagic 动态页面可以通过selenium模拟，而selenium需要python环境运行，所以安装python。
1、python下载地址：https://www.python.org/downloads/
我下载的3.13版本
2、双击安装时，选择定制安装，选择安装路径，否则自动安装，安装路径不好找。
3、配置环境变量

 

二：win10 安装pip

因为要安装selenium，用到了pip，所以需要安装pip
在Windows上安装pip的方法有多种，以下是其中几种常见的方法：
我直接使用的第一中方法。
1、通过Python自带的pip安装器安装。在命令行中输入以下命令：python -m ensurepip --upgrade。该命令会检查并安装最新版本的pip。

2、使用Windows10的“Windows PowerShell”安装pip。在PowerShell中，首先需要执行Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope Process命令，
然后运行python -m ensurepip --upgrade命令。

3、从Python官网下载安装包，解压后找到python.exe文件，双击打开，然后在命令行中输入python -m ensurepip --upgrade命令来安装pip。

4、在Python官网下载get-pip.py文件，然后在命令行中输入python get-pip.py命令来安装pip。

无论使用哪种方法，安装完成后可以通过输入pip --version命令来验证pip是否安装成功并查看其版本号。

三：win10 安装selenium
参考：https://zhuanlan.zhihu.com/p/568767930
参考：https://pypi.org/project/selenium/4.23.0/#files

我选择的时4.23.0版本
我是直接命令行安装：命令行输入pip install -U selenium==4.23.0

四：Chrome下载并安装对应的ChromeDriver驱动程序

运行webMagic需要驱动。
参考：https://zhuanlan.zhihu.com/p/721700402
把chromedriver放入环境变量中之后，就可以验证chromedriver安装情况了。

 

打开命令提示符窗口，在命令行中输入“chromedriver”即可查看本地安装的chromedriver版本号