2020年5月21日
怎么使用Ip代理词
摘要： from lxml import etreeimport requestsheaders = { 'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrom 阅读全文
posted @ 2020-05-21 19:53 大魔头的取经故事 阅读(191) 评论(0) 推荐(0) 编辑
雪球网新闻标题的爬取
摘要： import requestsimport jsonheaders = { 'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809 阅读全文
posted @ 2020-05-21 14:55 大魔头的取经故事 阅读(192) 评论(0) 推荐(0) 编辑
爬虫学习的基础篇
摘要： 1.我们爬虫一般使用的模块为urllib和requests模块，现在requests基本代替了urllib2.爬虫的基本步骤 第一步：获取指定的url(要爬取的数据发起的请求url) 第二步：发起请求（根据请求方式（POST,GET）发起请求）response = requsts.get(url) 阅读全文
posted @ 2020-05-21 12:56 大魔头的取经故事 阅读(173) 评论(0) 推荐(0) 编辑