第三方模块:requests模块和openpyxl模块

1.第三方模块的下载应由

第三方模块:别人写的模块 一般情况下功能都特别强大
    
我们如果想使用第三方模块 第一次必须先下载后面才可以反复使用(等同于内置模块)

下载第三方模块的方式
	1.pip工具
    	注意每个解释器都有pip工具 如果我们的电脑上有多个版本的解释器那么我们在使用pip的时候一定要注意到底用的是哪一个 否则极其任意出现使用的是A版本解释器然后用B版本的pip下载模块
       为了避免pip冲突 我们在使用的时候可以添加对应的版本号
    	   python27			 pip2.7
     	  python36			pip3.6
         python38			pip3.8
  		下载第三方模块的句式
        	pip install 模块名
       下载第三方模块临时切换仓库
    		 pip install 模块名 -i 仓库地址
       下载第三方模块指定版本(不指定默认是最新版)
    		 pip install 模块名==版本号 -i 仓库地址
	2.pycharm提供快捷方式

"""
下载第三方模块可能会出现的问题
	1.报错并有警告信息
		WARNING: You are using pip version 20.2.1;
		原因在于pip版本过低 只需要拷贝后面的命令执行更新操作即可
		d:\python38\python.exe -m pip install --upgrade pip
		更新完成后再次执行下载第三方模块的命令即可
	2.报错并含有Timeout关键字
		说明当前计算机网络不稳定 只需要换网或者重新执行几次即可
	3.报错并没有关键字
		面向百度搜索
			pip下载XXX报错:拷贝错误信息
		通常都是需要用户提前准备好一些环境才可以顺利下载
	4.下载速度很慢
		pip默认下载的仓库地址是国外的 python.org
		我们可以切换下载的地址
		pip install 模块名 -i 仓库地址
		pip的仓库地址有很多 百度查询即可
		清华大学 ：https://pypi.tuna.tsinghua.edu.cn/simple/
		阿里云：http://mirrors.aliyun.com/pypi/simple/
		中国科学技术大学 ：http://pypi.mirrors.ustc.edu.cn/simple/
		华中科技大学：http://pypi.hustunique.com/
		豆瓣源：http://pypi.douban.com/simple/
		腾讯源：http://mirrors.cloud.tencent.com/pypi/simple
		华为镜像源：https://repo.huaweicloud.com/repository/pypi/simple/
"""

2.网络爬虫模块之requests模块

requests模块能够模拟浏览器发送网络请求,相当于获取网页源码

1.朝指定网址发送请求获取页面(等价于:浏览器地址栏输入网址回车访问)，获取到的网页数据是二进制类型
import requests
res = requests.get('http://www.redbull.com.cn/about/branch')
print(res.content) 

2.可以指定编码，按照utf8来解码，就可以看到正常的网页源码
res.encoding = 'utf8'  
print(res.text)

3.网络爬虫实战之爬取链家二手房数据

用requests模块之后可以直接获取到网页的源码，不需要上网页复制

import requests
import re

res = requests.get('https://sh.lianjia.com/ershoufang/pudong/')
data = res.text
# print(data)
tittle_list = re.findall('data-is_focus="" data-sl="">(.*?)</a>', data)  # 标题集合
street_list = re.findall('<a href=".*?" target="_blank">(.*?)</a> </div></div><div class="address">', data)  # 街道
name_list = re.findall('data-log_index=".*?" data-el="region">(.*?) </a>', data)  # 小区名
attention_list = re.findall('<div class="followInfo"><span class="starIcon"></span>(.*?) / .*?</div>', data)  # 关注人数列表
total_list = re.findall('<div class="totalPrice totalPrice2"><i> </i><span class="">(.*?)</span><i>万</i>', data)  # 总价
unit_list = re.findall('</div><div class="unitPrice" data-hid=".*?" data-rid=".*?" data-price=".*?"><span>(.*?)元/平</span></div></div></div><div class="listButtonContainer">', data)  # 单价
res = zip(tittle_list, street_list, name_list, attention_list, total_list, unit_list)
# print(list(res))

with open('houseinfo.txt', 'w', encoding='utf8') as f:
    for data in res:
        print("""
        房屋标题:%s
        街道名称:%s
        小区名称:%s
        关注人数:%s
        总价(万元):%s
        单价(元):%s
        """ % data)
        f.write("""
        房屋标题:%s
        街道名称:%s
        小区名称:%s
        关注人数:%s
        总价(万元):%s
        单价(元):%s
        """ % data)

4.自动化办公领域至openpyxl模块

1.excel文件的后缀名问题
	03版本之前
    	.xls
 	03版本之后
    	.xlsx
        
        
2.操作excel表格的第三方模块
	xlwt往表格中写入数据、wlrd从表格中读取数据
    	兼容所有版本的excel文件
 	openpyxl最近几年比较火热的操作excel表格的模块
    	03版本之前的兼容性较差
	ps:还有很多操作excel表格的模块 甚至涵盖了上述的模块>>>:pandas
       
3.openpyxl操作
1.导入模块
from openpyxl import Workbook
2.创建一个excel文件
wb = Workbook
3.创建多个工作簿()
wb1 = wb.create_sheet('帅哥名单')
wb2 = wb.create_sheet('靓女名单')
4.保存文件(保存文件一定要在所有操作最下面，如果保存文件下面还有操作则执行不了)
wb.save(r'111.xlsx') 
5.改工作簿位置:想要把某个创立的工作簿放在最前面，只需要再工作簿第二个参数写上0
wb1 = wb.create_sheet('帅哥名单', 0)
6.如果文件栏多出一个文件，并且该文件前面有~说明该文件一打开

7.可以修改工作簿名称
wb3.title = '中学生名单'

8.还可以改工作簿图标颜色
wb3.sheet_properties.tabColor = '1072BA'

9.写入表格方式1:
wb3['C3'] = 666

10.写入表格方式2:row是行,column是列，value是插入的内容
wb3.cell(row=3, column=1, value='max')
11.写入数据方式3:
wb1.append(['编号', '姓名', '年龄', '电话'])
wb1.append([1, 'jason', 18, 123])
wb1.append([2, 'max', 25, 456])
wb1.append([3, 'kitty', 28, 789])

"""
如果写入的数据列数和第一行不一样，有的信息未填写，那么直接按照顺序传入
"""
wb1.append([4, 'jerry', 55, 741, 666])

12.填写数学公式
wb2.cell(row=1, column=1, value=1)
wb2.cell(row=2, column=1, value=2)
wb2.cell(row=3, column=1, value=3)
wb2['A4'] = '=sum(A1:A3)'
wb2.cell(row=5, column=1, value= '=sum(a1:a4)')

5.openpyxl模块实战

"""
整理链家网前十页房产信息,并且放在表格当中
"""
import requests
import re
from openpyxl import Workbook

wb = Workbook()
wb1 = wb.create_sheet('房产信息', 0)
wb1.append(['标题', '街道', '小区名称', '关注度', '发布时间', '总价', '单价'])

for i in range(1, 11):  # 以获取10页数据为例,每遍历一页地址就会改变一次
    res = requests.get(f'https://sh.lianjia.com/ershoufang/pudong/')  # 观察网页数据,页数变化体现在pg后面的数字,用for循环挨个获取
    data = res.text
    # 获取标题
    title_list = re.findall(
        'data-log_index=".*?"  data-el="ershoufang" data-housecode=".*?" data-is_focus="" data-sl="">(.*?)</a>', data)
    # 获取街道
    street_list = re.findall(
        'target="_blank">(.*?)</a> </div></div><div class="address"><div class="houseInfo"><span class="houseIcon">',
        data)
    # 获取小区名称
    name_list = re.findall('target="_blank" data-log_index=".*?" data-el="region">(.*?) </a>', data)
    # 获取关注度
    attention_list = re.findall('</div></div><div class="followInfo"><span class="starIcon"></span>(.*?)/', data)
    # 获取发布时间
    time_list = re.findall('</div></div><div class="followInfo"><span class="starIcon"></span>.*? / (.*?)</div><div',
                           data)
    # 获取总价
    price_list = re.findall('<div class="totalPrice totalPrice2"><i> </i><span class="">(.*?)</span>', data)
    # 获取单价
    unit_price = re.findall('data-hid=".*?" data-rid=".*?" data-price="(.*?)"><span>', data)
    group = zip(title_list, street_list, name_list, attention_list, time_list, price_list, unit_price)
    # group是每页小区的信息集合的列表,用for循环遍历,i就是每个小区的信息
    for i in group:
        wb1.append(i)
wb.save(r'房产信息前十页.xlsx')

6.pandas模块

"""
openpyxl主要用于数据的写入 至于后续的表单操作它并不是很擅长 如果想做需要更高级的模块pandas

import pandas

data_dict = {
    "公司名称": comp_title_list,
    "公司地址": comp_address_list,
    "公司邮编": comp_email_list,
    "公司电话": comp_phone_list
}
# 将字典转换成pandas里面的DataFrame数据结构
df = pandas.DataFrame(data_dict)
# 直接保存成excel文件
df.to_excel(r'pd_comp_info.xlsx')



excel软件正常可以打开操作的数据集在10万左右 一旦数据集过大 软件操作几乎无效
需要使用代码操作>>>:pandas模块
"""