摘要: 最近写爬虫的时候遇到了一个问题,爬一个专利网站,主要工作流是先把列表页下所有的专利包括专利号、专利名称、URL放到数据库的一个文档info中,再抽取info中的URL进行爬取详情页,爬取列表页的信息做了一个去重,爬一个就在数据库里查一个。。效率就不提了(另一种我能想到的方法是先用线程池爬取一遍,把单 阅读全文
posted @ 2018-03-22 21:07 嶙羽 阅读(1801) 评论(0) 推荐(0) 编辑
摘要: 简单粗暴上代码 酱紫,就合成了一个字典 阅读全文
posted @ 2018-03-22 20:37 嶙羽 阅读(2403) 评论(0) 推荐(0) 编辑
摘要: ARP(地址解析协议) 局域网: ARP地址解析协议用于将计算机的网络IP地址转化为物理MAC地址,ARP协议的基本功能就是通过目标设备的IP地址。查询目标设备的MAC地址,以保证通信的顺利进行。在每台安装有TCP/IP协议的电脑里都有一个ARP缓存表,表里的IP地址与MAC地址是一一对应的 代理A 阅读全文
posted @ 2018-03-22 02:01 嶙羽 阅读(1713) 评论(0) 推荐(0) 编辑