爬虫中遇到的问题汇总

------------------3.10----------------------

 关于爬取时，网页编码不是utf-8，而导致 lxml 输出中文时乱码的解决办法

用requests.get拿到response，response.content是bytes的内容，所以可以直接传给 lxml， body = etree.HTML(response.content)就不会有乱码了

而response.text是返回unicode编码的内容，需要进行编码(encode)，所以就是 body = etree.HTML(response.text.encode(response.encoding))

 

其实在python3中只要理解 str 和 bytes 的关系就够了。

有一篇文章讲得很好：http://www.ituring.com.cn/article/1116

ps：其实python3已经比python2少了很多很多编码转换的问题了。。。

 

在爬取某个网站时，直接用lxml.etree对response.content进行分析拿到的数据，与保存到本地后再分析拿到数据不一致

url = 'http://op.hanhande.com/mh/'
HEADERS = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; rv:51.0) Gecko/20100101 Firefox/51.0 '}

#直接分析
response = requests.get(url, headers=HEADERS)
body = etree.HTML(response.content)
us = body.xpath('//div[@class="mh_list_li"]/ul/li/a/@href')
ts = body.xpath('//div[@class="mh_list_li"]/ul/li/a/text()')
print(len(us), len(ts))
#保存后分析
with codecs.open('body.html', 'w', encoding = response.encoding) as f:
    f.write(response.content.decode(response.encoding))
with codecs.open('body.html', 'r') as f:
    body = f.read()
    body = etree.HTML(body)
    us = body.xpath('//div[@class="mh_list_li"]/ul/li/a/@href')
    ts = body.xpath('//div[@class="mh_list_li"]/ul/li/a/text()')
    print(len(us), len(ts))

运行结果为：

14 14
582 582

 

猜测可能是编码的问题，但是不知道如何确定。

 

 

------------------3.08----------------------

文件非法命名的问题

在windows下如 ？\ * | “ < > : /；都是非法字符，不允许在文件名中出现，按正常来讲，一旦出现这种情况，应该会有异常抛出，但是在使用pycharm的时候，这个异常并没有被发现，而直接在cmd下运行python就会有异常抛出。

解决方法：

就是在创建文件时，对文件名进行判断，如果有非法字符就替换调，如：str.replace('?', '')

 

请求超时的问题

try:
    response = await self.session.get(
        url, allow_redirects = False, headers=HEADERS
    )
    break
except aiohttp.ClientError as client_error:
    exception = client_error

这是500lines 里 crawl 的连接部分的一小段代码，这个异常捕捉的确是可以捕捉到所有的连接异常，但是在实际运行中，超时异常并没有被捕捉到，不知道是否因为是windows的锅，但是后来再加上 except asyncio.TimeoutError 就可以捕捉到超时异常了。

ps:其实在看了源码之后，aiohttp.TimeoutError也是继承了 asyncio.TimeoutError的，那为什么aiohttp的就不能被捕捉到呢，待解决。