08 2020 档案
摘要：需求函数f 0.8的几率成功，0.2的几率失败，当它失败重试count次，重试count次后还是失败则打报错信息，装饰器实现 # 有参装饰器 def retry(count): def outter(func): def inner(*args, **kwargs): if isinstance(c
阅读全文
摘要：目录0. ARP介绍1. Scapy简述2. Scapy简单演示2.1 安装2.2 构造包演示2.2.1 进入kamene交互界面2.2.2 查看以太网头部2.2.3 查看 ICMP 头部2.2.4 查看 IP 头部2.2.5 查看 TCP/UDP 头部2.2.6 简单构造 ICMP 包2.2.7
阅读全文
摘要：requests使用 beautifulsoup4 使用 scrapy 框架 爬虫实例
阅读全文
摘要：爬拉钩网信息 #https://www.lagou.com/jobs/positionAjax.json?city=%E4%B8%8A%E6%B5%B7&needAddtionalResult=false import requests #实际要爬取的url url = 'https://www.l
阅读全文
摘要：scrapy爬虫框架 介绍 #通用的网络爬虫框架，相对于爬虫界的django #scrapy执行流程 5大组件 -引擎(EGINE)：大总管，负责控制数据的流向 -调度器(SCHEDULER)：由它来决定下一个要抓取的网址是什么，去重 -下载器(DOWLOADER)：用于下载网页内容, 并将网页内
阅读全文
摘要：爬取汽车之家新闻 import requests # pip3 install beautifulsoup4 解析html和xml，修改html和xml from bs4 import BeautifulSoup res = requests.get('https://www.autohome.co
阅读全文
摘要：爬虫介绍 https://www.cnblogs.com/xiaoyuanqujing/p/11805679.html #爬虫简单来说指，网络蜘蛛 #爬虫本质，；模拟浏览器发送请求（使用的模块requests,selenium）>>>下载网页>>>提取需要的数据（使用的模块bs4,xpath,re）
阅读全文
摘要：###1 首先去此地址https://www.lfd.uci.edu/~gohlke/pythonlibs/#bitarray 下载twisted对应版本的whl文件 ###2 下载之后安装，pip3 install 文件地址 ###3 pip install pybloom_live
阅读全文
摘要：http1.1 默认使用长连接，可有效减少TCP三次握手的开销 http1.1 支持只发送header信息（不带任何body信息），如果服务器认为客户端有权限请求服务器，则返回100，否则返回401。客户端接收到100才开始把请求body发送给服务器，这样当服务器返回401的时候，客户端就不用发送b
阅读全文
摘要：轮询：说白了就是客户端定时去请求服务端， 是客户端主动请求来促使数据更新； 长轮询：说白了也是客户端请求服务端，但是服务端并不是即时返回，而是当有内容更新的时候才返回内容给客户端，从流程上讲，可以理解为服务器向客户端推送内容； 从中可以看出区别： 轮询： 1：大量耗费服务器内存和宽带资源，因为不停的
阅读全文
摘要：本文目录一 简介二 登录微信三 微信好友男女比例四 微信好友地域分布五 微信聊天机器人 回到目录一 简介 wxpy基于itchat，使用了 Web 微信的通讯协议，，通过大量接口优化提升了模块的易用性，并进行丰富的功能扩展。实现了微信登录、收发消息、搜索好友、数据统计等功能。总而言之，可用来实现各种
阅读全文
