01.爬虫---安装工具包Anaconda--python3.5.2、MongoDB、Redis、其他工具库

安装anaconda

 

 

 

 

 安装 pycharm

 

版本冲突

多版本兼容

 

 

 

 

 

 

 

BeautifulSoup这个库的安装

 

 

忽略大小写

 

 

mongodb安装

 

新建  文件夹

/data/db

 

开启服务端

 

mongod --dbpath  D:\install\mongodb\data\db

查看是否开启

localhost:27017

启动客户端 

cmd

mongo

 

 

配置系统服务中启动

 

可视化

robomongo

 

 安装各种库

pip3 install  requests

conda  install requests

 

requests

selenium   ----js渲染

 

chromedriver   放 scrip文件夹

    from selenium import webdriver

    driver = webdriver.Chrome()

    driver.get('http://www.baidu.com')

 

phantomjs  ----无界面浏览器 后台

phantomjs

配置环境变量

 

 

lxml  ---- 提供网页解析

 

 

 

beautifulsoup4

from bs4 import 

 

pyquery

pip3 install pyquery

 

pymysql

pip3 install pymysql

 

pymongo

pip3 install pymongo

 

redis

pip3 install redis

 

flask  --- web

pip3 install flask

 

django  

pip3 install django

 

jupyter ---在线运行程序  支持markdowm

pip3 install jupyter

jupyter notebook