python爬取图片
希望用python爬取京东手机图片，但是pdb调试发现期望用来保存匹配的图片的列表一直是空
怀疑两个原因：
- 获取到的要匹配关键字的html网页有问题
- 正则表达式没写对
将获取到的要匹配关键字的html的字符串写入txt，以utf-8解码，看看是否能查到浏览器打开html搜索到的关键字
发现str(urllib.request.urlopen.read())这个字符串和浏览器ctrl u看到的html代码不一样
查了一下发现问题：
参考文章：
https://www.cnblogs.com/yuantup/p/9761534.html
这篇文章还提供了一段爬京东手机图片的代码，跑了一下，能跑通
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/10/8 15:11
# @Author : yuantup
# @Site :
# @File : jdshouji_image.py
# @Software: PyCharm
import urllib.request
import re
import os
def open_url(url):
head={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.37'}
# head = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/5'
# '37.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
req = urllib.request.Request(url, headers=head)
response = urllib.request.urlopen(req)
# print(response.getcode())
html = response.read()
return html
def get_img_addr(html):
html_str = html.decode('utf-8')
# print(html_str)
img_addrs =[]
pattern1 = '<img width="220" height="220" data-img="1" src="(.+?[.jpg|.png])"'
pattern2 = '<img width="220" height="220" data-img="1" data-lazy-img="done" title=.+? src="(.+?[.jpg|.png])"'
pattern2 = '<img width="220" height="220" data-img="1" data-lazy-img="(.+?[.jpg|.png])"'
img_addrs1 = re.compile(pattern1).findall(html_str)
# print(img_addrs)
img_addrs2 = re.compile(pattern2).findall(html_str)
# print(len(img_addrs))
img_addrs.extend(img_addrs1)
img_addrs.extend(img_addrs2)
print(img_addrs)
return img_addrs
def save_img(img_addrs):
i = 0
for each in img_addrs:
i = i+1
img_name = each.split("/")[-1]
with open(img_name, 'wb') as f:
correct_url = 'http:' + each
img = open_url(correct_url)
f.write(img)
return i
def main():
path = r'F:/Code/Py/myweb'
a = os.getcwd()
print(a)
if os.path.exists(path):
os.chdir(path)
print(os.getcwd())
else:
os.mkdir(path)
# os.chdir(path)
for i in range(1, 11):
url = 'https://list.jd.com/list.html?cat=9987,653,655&page=' + str(i)
html = open_url(url)
img_addrs = get_img_addr(html)
print(url)
save_img(img_addrs)
if __name__ == '__main__':
main()
观察了一下这段代码是怎么解决html不一致的问题的
主要是上面这一段
所以我尝试用urllib.request.Request(url, headers=head)解决问题，但是首先我需要知道headers
下面这篇博文教给如何看headers:
https://blog.csdn.net/ysblogs/article/details/88530124
我查看了自己的headers，再修改代码：
这次能在txt搜索到我在html上搜索到的关键字了
但是发现正则表达式有问题
第一个过滤条件是许多行组成的，因此(?s)能匹配多行
第二个过滤条件也尝试修改，期间，可以尝试把正则表达式匹配的图片路径print()出来，然后直接用搜索引擎搜索图片，看正则表达式匹配的结果路径是否是正确的图片路径
解决了这两个问题以后，能够成功爬取图片了，完整代码如下：
import pdb
import re
import urllib.request
def craw(url,page):
head={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.37'}
req = urllib.request.Request(url, headers=head)
response = urllib.request.urlopen(req)
html1=response.read().decode('utf-8')
html1=str(html1)
with open(r"C:\Users\HUAWEI\Desktop\a.txt","w",encoding='utf-8') as f:
f.write(html1)
f.close()
pat1='(?s)<div id="J_goodsList"(.*)<div class="page clearfix">'
result1=[]
temp1=re.compile(pat1).findall(html1)
result1.extend(temp1)
result1=result1[0]
pat2='<img width="220" height="220" data-img="1" data-lazy-img="//(.+?.jpg)"'
imagelist=re.compile(pat2).findall(result1)
print(imagelist)
x=1
for imageurl in imagelist:
imagename="F:/Code/Py/myweb/phone"+str(page)+str(x)+".jpg"
imageurl="http://"+imageurl
try:
urllib.request.urlretrieve(imageurl,filename=imagename)
except urllib.error.URLError as e:
if hasattr(e,"code"):
x+=1
if hasattr(e,"reason"):
x+=1
x+=1
for i in range(1,10):
url="https://list.jd.com/list.html?cat=9987%2C653%2C655&page="+str(i)
craw(url,i)
参考文章：
https://www.cnblogs.com/yuantup/p/9761534.html
https://blog.csdn.net/ysblogs/article/details/88530124
https://blog.csdn.net/rj2017211811/article/details/89742073
