摘要:
1 什么是互联网 互联网是由于网络设备(网线,路由器,交换机,防火墙等等)和计算机连接而成,像一张网一样。 1.1 互联网建立的目的? 互联网的核心价值在于数据的共享和传递,数据是放在一台计算机上 的,而将计算机互联到一起的目的就是为了能够方便彼此之间数据的共享和传递,否则你只能拿优盘取别人计算机上 阅读全文
摘要:
robots.txt 协议 1. Robits Exclusion Standard网络爬虫排除标准 2. 作用:网站告知网络爬虫那些页面可以爬取,那些不行。 3. 形式:在网站根目录下的robots.txt文件 百度的robots协议: https://www.baidu.com/robots.t 阅读全文