2018年6月7日笔记

• csv数据处理

csv文件格式的定义：

　　逗号分隔值（Comma-Separated Values, CSV，有时也称字符分隔值，因为分隔符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。纯文本意味着该文件是一个字符序列。

 

python使用csv模块来处理csv数据，例题如下：

import csv

fileName = "test.csv"

# method-1
with open(fileName, "r", encoding="utf-8") as f:
    text = csv.reader(f)
    print(type(text))
    for line in text:
        for i in line:
            print(i)

print("################################")

# method-2
with open(fileName, "r", encoding="utf-8") as f:
    for line in f:
        print(type(line))
        for i in line.split(","):
            print(i.strip())

<class '_csv.reader'>
1    2    3    4    5    6    7    8    9    10
10    9    8    7    6    5    4    3    2    1
################################
<class 'str'>
1    2    3    4    5    6    7    8    9    10
<class 'str'>
10    9    8    7    6    5    4    3    2    1

 

 

• excel数据处理

　　python提供第三方库来支持对excel的操作，用到的第三方库有 xlrd 、xlwt 、xlutils 、pyExcelerator，除此之外，python处理excel还可以用win32com和openpyxl模块。

　　xlrd只能读取不能写入excel文件，xlwt可以写入但不能修改已有excel文件，修改就要使用xlutils模块，pyExcelerator模块与xlwt相似，也可用来生成excel文件。

 

# 创建一个excel文件testwrite.xls
import xlwt

workbook = xlwt.Workbook()
sheet1 = workbook.add_sheet("test1", cell_overwrite_ok=True)
sheet1.write(0,0,"hello1")
sheet1.write(0,1,"hello2")
sheet1.write(0,2,"hello3")
sheet1.write(1,0,"word1")
sheet1.write(1,1,"word2")
sheet1.write(1,2,"word3")
sheet1.write(1,3,"word4")

workbook.save("testwrite.xls")
print("create ok")

hello1    hello2    hello3        
word1     word2     word3     word4

 

# 读取刚才新建的文件testwrite.xls
import xlrd

data = xlrd.open_workbook("testwrite.xls")

table = data.sheets()[0]
rows = table.nrows
cols = table.ncols
print(cols)
for i in range(rows):
    print(table.row_values(i))


print("##"*10)
for j in range(cols):
    print(table.col_values(j))


print("###"*10)
for row in range(rows):
    for col in range(cols):
        cell = table.cell_value(row, col)
        print(cell)

4
['hello1', 'hello2', 'hello3', '']
['word1', 'word2', 'word3', 'word4']
####################
['hello1', 'word1']
['hello2', 'word2']
['hello3', 'word3']
['', 'word4']
##############################
hello1
hello2
hello3

word1
word2
word3
word4

 

 

• pdf数据处理

转换成PDF的3种方法：

1）url  ->  pdf

import pdfkit
pdfkit.from_url("https://www.baidu.com", "url01.pdf")

2）html  ->  pdf

import pdfkit
pdfkit.from_file("test.html", "html02.pdf")

3）string  ->  pdf

import pdfkit
pdfkit.from_string('Hello world!', 'string03.pdf')

 

 

 

• 练习题

import codecs
import os
import sys

import pdfkit
import requests


base_url = 'http://www.apelearn.com/study_v2/'
if not os.path.exists("aming"):
    os.mkdir("aming")

os.chdir("aming")
s = requests.session()

for i in range(1, 27):
    url = base_url + 'chapter' + str(i) + '.html'
    print(url)
    file = str(i) + '.pdf'
    print(file)
    config = pdfkit.configuration(wkhtmltopdf=r"D:\Program Files\wkhtmltopdf\bin\wkhtmltopdf.exe")
    try:
        pdfkit.from_url(url, file)
    except:
        continue