windows下python常用库的安装
windows下python常用库的安装,前提安装了annaconda 的python开发环境。只要已经安装了anaconda,要安装别的库就很简单了。只要使用pip即可,正常安装好python,都会自带pip安装 工具,在python的scripts安装目录下可以查看。具体安装步骤:使用Anaconda在windows下管理python开发环境 python常用库的安装是python爬虫开发的基石。
1.urllib 和re库的安装
这两个库是python自带的库,只要正确安装了python,都可以直接调用者两个库,python模式下验证如下
>>> import urllib
>>> import urllib.request
>>> urllib.request.urlopen('http://www.baidu.com')
<http.client.HTTPResponse object at 0x0000024222C09240>
>>> import re
>>>
2.requests请求库的安装
pip3 install requests dos下执行命令即可安装
python交互下测试request请求库是否安装正确
>>> import requests
>>> requests.get('http://www.baidu.com')
<Response [200]>
>>>
3.selenium库的安装
主要是用来驱动浏览器,做测试之类的,js渲染调试
pip3 install selenium 执行安装 ,删除库的话直接pip3 uninstall selenium
测试是否安装正确
>>> import selenium
>>> from selenium import webdriver
>>> driver = webdriver.Chrome()
#这个时候系统会启动一个空白浏览器,如果失败需要安装chromdriver驱动,将其解压后放到python配置环境变量后的目录下即可
DevTools listening on ws://127.0.0.1:12052/devtools/browser/1f2faef9-0748-40f0-b955-9e41362ce55e
>>>> driver = webdriver.Chrome()
DevTools listening on ws://127.0.0.1:12722/devtools/browser/5ba65a50-df4a-47fd-b2d6-d313578d539d
>>> driver.get('http://www.baidu.com') #这个时候打开的浏览器就会跳转到百度首页。
>>>driver.page_source #可以直接打印当前百度网页的代码
4.phantomjs 库的安装
无界面浏览器 ,命令行下浏览器驱动实现,跟selenium相辅,前者会打开浏览器
1.在phantomjs官网下载phantomjs安装包,http://phantomjs.org/download.html
2.放到指定安装目录后,配置环境变量,bin目录
3.直接在dos下执行phantomjs看是否配置成功,如下:
C:\Users\Robot_CHEN>phantomjs
phantomjs>
4.安装与功能测试
>>> import selenium
>>> from selenium import webdriver
>>> driver = webdriver.PhantomJS() #注意区别selenium中的webdrive.Chrom()
>>> driver.get('http://www.baidu.com')
>>> driver.page_source
5.lxml库的安装
xpath网页解析库,实现网页解析。pip3 install lxml 直接安装即可
python交互下,用import lxml确认是否安装成功
6.beatifulsoup 网页解析库的安装,依赖于lxml库
安装:pip3 install beatifulsoup4
测试安装:
>>> from bs4 import BeautifulSoup #使用beautifulsoup要从 bs4模块中导入
>>> soup = BeautifulSoup('<html></html>','lxml')
>>>
7.pyquery网页解析库的安装
pip3 install pyquery 执行安装.
>>> from pyquery import PyQuery as pq
>>> doc = pq('<html></html>')
>>> doc = pq('<html>Hello World</html>')
>>> result = doc('html').text()
>>> result
'Hello World'
>>>
8.pymysql存储库的安装
操作mysql数据库的驱动库 安装命令:pip3 install pymysql .安装完成后用代码python操作mysql数据库,执行CRUD.
import pymysql #导入 pymysql
#打开数据库连接
db= pymysql.connect(host="localhost",user="root",
password="123456",db="mydatabase",port=3306)
# 使用cursor()方法获取操作游标
cur = db.cursor()
#1.查询操作
# 编写sql 查询语句 user 对应我的表名
sql = "select * from emp3"
try:
cur.execute(sql) #执行sql语句
results = cur.fetchall() #获取查询的所有记录
print("id","name","password")
#遍历结果
for row in results :
id = row[0]
name = row[1]
password = row[2]
print(id,name,password)
except Exception as e:
raise e
finally:
db.close()
9.pymongo的安装,操作mongodb数据
安装依旧pip install pymongo
import pymongo
client = pymongo.MongoClient('localhost')
db = client['mymongodb']
coll = db['mycoll']
mydict = { "name": "RUNOOB", "alexa": "10000" }
coll.insert_one(mydict)
print(coll)
'''测试结果如下:
Collection(Database(MongoClient(host=['localhost:27017'], document_class=dict, tz_aware=False, connect=True), 'mymongodb'), 'mycoll')
'''
10.redis的安装
pip install redis安装即可
import redis
result = redis.Redis('localhost',6379)
result.set('name','jack')
print(result.get('name')) #b'jack'
11.flask的安装,主要设置web时使用
可以在flask的官网文档查看,http://docs.jinkan.org/docs/flask/
安装方式 pip install flask,测试python交互模式下import flask看是否报错
12django的安装,web服务器框架
安装很简单pip install django,测试导入import django
13.jupyter安装,强大的记事本
pip install jupyter即可安装,如果使用的anaconda,则默认已经安装了jupyter,主要用来在线写代码和文档记录,功能很强大也很方便。