<day004>小娜显示空白+CSV文件的基本操作+普通的代理使用

小知识:

　　当小娜搜索显示空白的时候,怎么解决?

　　　　任务管理器结束小娜进程就好了= =*(多半是惯得,关掉就好了!)

 

任务1:CSV文件的基本操作

import csv
import pandas as pd
#写入csv文件会出现空行的情况,加入newline
with open('data.csv','w',encoding='utf-8',newline='') as file:
	writer = csv.writer(file,delimiter=' ')
	writer.writerow(['id','name','age'])
	writer.writerows([['1','123','19'],['2','123','19']])
#普通的读取csv文件
with open('data.csv','r',encoding='utf-8') as file:
	reader = csv.reader(file)
	for row in reader:
		print(row)
#用pandas的read_csv读取,会多一个序号列
df = pd.read_csv('data.csv')
print(df)

　　

任务2:代理池(还没学会)

'''
代理池
	存储模块:存储在redis数据库的Sorted Set(有序存储)--能保证不重复
	获取模块:实时在各大代理网站抓取代理,存储形式(IP:PORT),优先高匿代理
	检测模块:定时检测数据库中的代理,爬取哪个网站就检测哪个网站,100分表示可用,
			检测一次可用分数+1,不可用分数-1,低于某个值直接从数据库删除
			思路2:可用即置为100,100为最大,失败一次-1,成功一次置为100
	接口模块:需要用API提供对外接口,提供一个web api接口,避免去数据库找的繁琐,
			通过访问接口获得可用代理

有点麻烦,暂时没时间弄,先学个简单的
免费代理:
	西刺代理:https://www.xicidaili.com/
	快代理:https://www.kuaidaili.com/free/inha/
	小幻HTTP代理:https://ip.ihuan.me/
	89免费代理:http://www.89ip.cn/
	66免费代理:http://www.66ip.cn/
	3366云代理:http://www.ip3366.net/
'''


import requests

# 根据协议类型，选择不同的代理
headers = {
	'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36',
}


proxies = {
	"http": "http://112.85.130.143:9999",
	"https": "http://116.209.52.49:9999",
}

response = requests.get("http://www.baidu.com", headers=headers, proxies=proxies)

print(response.text)

　

总结:

　　今天努力写论文中,没怎么学习python　

　　目测接下来三天都以论文为主