常规文件读写和爬虫数据存储
常规文件读写和爬虫数据存储
1.文件读取、写入数据
-
文件读取
-
文件读取很简单,就三步
-
-
首先,使用open()函数打开文件 myfile = open(r'test.txt','r')
myfile是变量,存放读取的文件,第一个r是固定符号,'test.txt'是需要读取文件的文件名,最后一个‘r’是文件打开模式,‘r’代表read, 意为文件读取。
-
第二步,我们要来读取文件中的内容
myfliecontent=myfile.read() #使用read()函数,读取myfile变量中文件的数据,将数据放在myfilecontent变量中 print(myfilecontent) #使用print()函数,看看读取到什么内容
-
最后一步,关闭文件。
myfile.close() #关闭文件.不能忘记很重要!很重要!很重要!很重要!很重要!
-
完整的代码
myfile = open(r'test.txt','r') myfilecontent = myfile.read() print(myfilecontent) myfile.close()
-
-
文件写入操作
文件写入也是分三步: 打开文件-----写文件------关闭文件
- 方法一
第一步打开文件: myfile=open(r'test.txt','w') #使用open()函数, 除了最后一个参数,其余参数不动, 把最后一个参数换成‘w’,是write意思,意为写入。 第二步,开始写入内容 myfile.write('从你的全世界路过') 第三步,关闭文件 myfile.close()
-
方法二
with open(rtest.txt','a') as myfile: myfile.write('从你的全世界路过')
2.Excel文件读取存储
-
import openpyxl # 引用openpyxl wb = openpyxl.Workbook() # 利用openpyxl.Workbook()函数创建新的workbook(工作薄)对象,就是创建新的空的Excel文件。 sheet = wb.active # wb.active就是获取这个工作薄的活动表,通常就是第一个工作簿,也就是我们在上面的图片中看到的sheet1。 sheet.title = 'kaikeba' # 可以用.title给工作表重命名。现在第一个工作表的名称就会由原来默认的“sheet1”改为"gdp"。 sheet['A1'] = 'gdp' # 向单个单元格写入数据 score1 = ['math', 95] sheet.append(score1) # 写入整行的数据,变量类型是一个列表 wb.save('score.xlsx') # 保存修改的Excel wb.close() # 关闭Excel
-
#实战练习: ''' 根据已给网址爬取果壳前10页标题和对应的网址信息, 并将爬取的数据写入到excel表格或者csv中 网址:https://www.guokr.com/ask/highlight/?page= ''' import requests import openpyxl from bs4 import BeautifulSoup headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36' } wb=openpyxl.Workbook() sheet=wb.active sheet.title='guoke' sheet['A1']='标题' sheet['B1']='网址' for i in range(1,11): res=requests.get('https://www.guokr.com/ask/highlight/?page=%s'%i,headers=headers) soup=BeautifulSoup(res.text,'html.parser') list_info=soup.find_all('ul',class_="ask-list-cp") list_data=list_info[0].find_all('div',class_="ask-list-detials") #print(list_info) for data in list_data: res_data=data.find('a') title=res_data.text #print(title) url=res_data['href'] #print(url) sheet.append([title,url]) wb.save('gouke.xlsx') wb.close()
-
3.csv格式文件读取、存储数据
-
CSV存储(写入)数据(csv.writerow()操作)
方法一: import CSV # 需要写入的数据 score1 = ['math', 95] score2 = ['english', 90] # 打开文件,追加a, newline="",可以删掉行与行之间的空格 file=open("score.csv",'a',newline="") # 设定写入模式 csv_write=csv.writer(flie) # 写入具体内容 csv_write.writerow(score1) csv_write.writerow(score2) flie.close() open("score.csv") #方法二: import CSV score1 = ['math', 95] score2 = ['english', 90] with open('score.csv','a',newline='') as r: #writer是实例化对象,writerow()是写入的方法,括号内的数据是列表形式 writer=csv.write(r) writer.writerow(scroe1) write.writerow(scroe2) print('写入完毕') open('score.csv')
-
CSV数据读取(csv.reader()读取操作)
-
with open("mytest.csv",'r') as file: reader=csv.reader(file) for content in reader: #writerow()方法写入的数据据是列表形式,所以读取的时候应该for循环遍历列表 print(content)
-