摘要: 总结 1.网络爬虫就是从网络上进行数据采集 2.常用的工具有urllib,beautifulsoup4 3.一些网站有反爬措施,需要加上headers后进行访问 4.beautifulsoup4可以将爬取到的信息转换为便于解析的对象 什么是网络爬虫 假设互联网是张蜘蛛网,我们需要了解这张网上有多少只 阅读全文
posted @ 2019-10-31 19:20 青团长 阅读(132) 评论(0) 推荐(0)
摘要: F5负载均衡的rest接口拓展查询 问题描述: 接触过F5的小伙伴大概会发现,F5的rest接口返回中经常会包含isSubcollection这个字段,用来表示存在嵌套的结果,这样的方式在一定程度上缓解了设备一次请求拉取数据的压力,但在我们需要获取所有嵌套结果时,多次的http请求反而会增加性能开销 阅读全文
posted @ 2019-10-19 17:29 青团长 阅读(734) 评论(0) 推荐(0)