Python网络编程_抓取百度首页代码(注释详细)

 1 #coding=utf-8
 2 #网络编程
 3 
 4 #客户端建立socket套接字
 5 #引入socket模块
 6 import socket
 7 #实例化一个套接字,2个参数分别是: IPV4、TCP 协议
 8 s=socket.socket(socket.AF_INET, socket.SOCK_STREAM)
 9 #建立连接,2个参数是: 网址、端口
10 s.connect(('www.baidu.com',80))
11 #向服务器发送请求,传递的参数是:1.请求方式 2.地址 3.链接方式(open or close)
12 #注:‘GET / HTTP’这里的‘/’是跟目录的意思
13 s.send(b'GET / HTTP/1.1\r\nHost:www.baidu.com\r\nConnection: close\r\n\r\n')
14 
15 #开始接受服务器传来的数据
16 buffer =[]  #新建一个空列表,buffer即缓存的意思
17 while True:  #【降一级,防止出现不可控错误?】
18     d = s.recv(1024)  #每次最多接收1k字节
19     if d:  #如果能正常接收到d(即d不为空)
20         buffer.append(d)
21     else:
22         break
23 data = b''.join(buffer)  #组合传来的(列表格式的)数据为字符串(b)格式
24 
25 #关闭文件
26 s.close()
27 
28 #开始处理数据
29 #分离网页头部与html,注:头部信息是网络传输时的标识信息,通常不需要展示出这部分
30 header,html = data.split(b'\r\n\r\n',1)
31 #以utf-8解码为正常文本
32 print(header.decode('utf-8'))
33 #新建文件,将接收到的数据接入文件内
34 with open('baidu.html','wb')as f:
35     f.write(html)

 

posted @ 2017-12-30 12:11  Leq123  阅读(624)  评论(0编辑  收藏  举报