摘要: 搭建环境: win10,Python3.6,pycharm,未设虚拟环境 之前写的爬虫并没有架构的思想,且不具备面向对象的特征,现在写一个基础爬虫架构,爬取百度百科,首先介绍一下基础爬虫框架的五大模块功能,包括爬虫调度器,URL管理器,HTML下载器,HTML解析器,数据存储器,功能分析如下: >> 阅读全文
posted @ 2018-03-21 17:39 嶙羽 阅读(398) 评论(0) 推荐(0) 编辑
摘要: 逻辑地址和物理地址 >>逻辑地址:工作在网络层,也叫IP地址,①具有全局唯一性②用软件实现③32位 10.1.0.6 -——>00001010.00000001.00000000.00000110 >>物理地址:硬件地址、链路地址,也叫MAC地址,工作在网络接口层 ①本地范围唯一②用硬件实现③日常以 阅读全文
posted @ 2018-03-21 02:03 嶙羽 阅读(584) 评论(0) 推荐(0) 编辑
摘要: 网络层协议 >>IP协议 >>ARP(地址解析协议) >>RARP(反向地址解析协议) >>ICMP(互联网控制消息协议) IP协议功能 >>寻址和路由:从一个地点到另一个地点的线路 >>传递服务 >>不可靠,可靠性由上层协议提供 >>无连接:发送数据之前不建立会话 >>数据报分段和重组 固定部分是 阅读全文
posted @ 2018-03-21 01:07 嶙羽 阅读(472) 评论(0) 推荐(0) 编辑