摘要： 1. 爬虫的概念模拟浏览器，发送请求，获取响应网络爬虫就是模拟客户端发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。原则上,只要是客户端(浏览器)能做的事情，爬虫都能够做爬虫也只能获取客户端(浏览器)所展示出来的数据 2. 爬虫的作用作用很多，例如：数据采集： 机器学习舆 阅读全文

摘要： 1. 知识碎片化要有足够的知识储备2. 学习难度先轻后重爬虫是和开发运维的技术对抗，有价值的数据的爬取还是比较困难的。需要技术功底扎实。3. 学习特点案例分散，需要触类旁通。多练习。4. 后续发展不断学习新知识，掌握新技巧。5. 法律层面把握好法律和道德底线，不要越过红线。 阅读全文