python爬虫环境搭建（windows)

 

一、下载安装python2.7并配置环境变量(64位）

1、下载安装：

1)进入python官网，下载python2.7 网址：https://www.python.org/

 

 2)点击安装包，运行

3)选择自己的安装目录

4）一路按照提示进行即可

2、配置环境变量

1）打开系统高级设置，找到系统变量path,在后面加上自己python的安装路径，注意确保安装路径前加上了英文的 ; 

2)测试安装是否成功

打开cmd命令，输入python，显示python版本即可

 

3、下载安装

在python安装目录中找到 python.exe，双击运行

3）下载以下插件

     beautifulsoup

     requests

     lxml    

     pymongo

     scrapy

在打开的 python.exe面板中一个个键入以下内容

pip install BeautifulSoup4
pip install requests
pip install lxml
pip install pymongo
pip install scrapy

　　

4）注意：python2.7应该是默认安装了pip，如果以上提示不存在pip命令，则安装pip

安装pip步骤：

首先下载pip，网址为   https://pan.baidu.com/s/1jISfUYE

选择下载

下载在任意一个文件夹，但是建议在python下新建一个文件夹存放并解压

在CMD进入存放解压后的pip目录

键入

python setup.py install

　安装好了以后，配置环境变量

同样在path中添加

　D://python/Scripts

注意，Scripts前是你自己python的安装目录，并且注意要和前面的有英文的 ; 分隔

二、下载代码编辑器pyCharm

1、打开PyCharm官网 http://www.jetbrains.com/pycharm/

2、点击下载

 

3、选择下载社区版

 

4、选择自己的路径安装好，打开后选择自己python安装目录即可

三、安装MongoDB

1、下载地址：

http://pan.baidu.com/s/1pKQZDaV

 

2、新建一个文件夹（最好是名为mongoDB）

　　1）然后将下载的zip文件解压到新建的文件夹，如（d:\mongodb）

　   2）　然后创建数据库文件存放位置，如（d:/mongodb/data/db）

　　3）打开cmd（windows键+r输入cmd）命令行，进入D:\mongodb\bin目录（先输入 d: 进入d盘；然后输入 cd d:\mongodb\bin），

　　4）输入如下的命令启动mongodb服务：

　　D:/mongodb/bin>mongod --dbpath D:\mongodb\data\db

 

　　5）打开浏览器（建议安装谷歌浏览器chrome）

　　输入http://localhost:27017，显示以下则成功

3、设置mongoDB为Windows服务，每次开机自动启动，减少麻烦

1）d:\mongodb\data下新建文件夹log

2）在新建的文件夹log中新建文件mongodb.log

3）在d:\mongodb新建文件mongo.config

4）用记事本打开mongo.config输入：（要具体看自己的文件路径，建议完全和本教程一致）

　　dbpath=D:\mongodb\data\db

　　logpath=D:\mongodb\data\log\mongo.log 

5）用管理员身份打开cmd命令行，进入D:\mongodb\bin目录，输入如下的命令：

　　D:\mongodb\bin>mongod --config D:\mongodb\mongo.config 

　　有人提醒改为如下：

　　mongod --config D:\mongodb\mongo.config --install --serviceName "MongoDB"

　　
　　如图结果存放在日志文件中，查看日志发现已经成功。如果失败有可能没有使用管理员身份，遭到拒绝访问。

　　

 

6）打开cmd输入services.msc查看服务可以看到MongoDB服务，点击可以启动

 

2）安装mongoDB可视化工具mongoVUE

下载地址： https://pan.baidu.com/s/1o6SWnW2 （或者自己百度上面找，都有的）

注：在此以给定地址（https://pan.baidu.com/s/1o6SWnW2）来说明安装破解

下载后一路安装，注意下图

一路安装即可，下面说明怎么破解

将解压zip下“破解补丁”文件夹中的“MongoVUE.exe”文件替换到安装文件目录下，如下图：

 

至此破解完毕

3）下面是连接数据库

打开mongovue

 

连接完毕