摘要: 直接上代码: import re import requests # 创建定长数字,作为一会名字 def creat_fivenum(num,n=5): for i in range(1,10): s=str(num) j=10**i if (int(num/j)==0): for a in ran 阅读全文
posted @ 2021-02-16 23:03 3ξ 阅读(59) 评论(0) 推荐(0) 编辑
摘要: requests 详细了解一下爬虫 #1爬虫究竟是合法还是违法的? # 在法律上不被禁止 算是中立性 # 2爬虫所带来风险主要体现在以下2个方面: # 爬虫干扰了被访问网站的正常运营; # 爬虫抓取了受到法律保护的特定类型的数据或信息。 # 爬虫的分类 # 通用爬虫:通用爬虫是搜索引擎(Baidu、 阅读全文
posted @ 2021-02-16 16:04 3ξ 阅读(72) 评论(0) 推荐(0) 编辑
摘要: UA伪装 < >UA检测:门户网站会检测对应请求的载体身份标识,如果是浏览器那就认为是正常用户 headers headers = { 'Accept-Encoding': 'gzip, deflate, sdch', 'Accept-Language': 'en-US,en;q=0.8', 'Us 阅读全文
posted @ 2021-02-16 15:09 3ξ 阅读(74) 评论(0) 推荐(0) 编辑