摘要：
1、分析url《空港双流》数字报刊，访问地址为：http://epaper.slnews.net.cn，现在为了抓取每篇新闻的网页内容。在浏览器访问该链接后，发现链接出现了变化，看样子是后端服务器进行了重定向：观察该链接，发现定向链接规则显然是包含日期规则，2018-01/10，表示2018年01月10日的报刊，也就是定位为当天的日期，试着修改为前一天，即2018-01/09，页面果然发生了跳转，... 阅读全文
摘要：
1、什么是网络爬虫爬虫是“模拟用户在浏览器或某个应用上的操作，把操作的过程实现自动化程序”，那什么是网络爬虫呢？即模拟浏览器行为，通过指定url，直接返回给用户所需要的数据，而不需要人为操纵浏览器获取。我们使用浏览器访问网页大概发生了什么？查找域名对应的IP地址向IP对应的服务器发送请求服务器响应请求，发回网页内容浏览器解析网页内容 网络爬虫，就是要模拟上述行为。2、最简单的爬虫：你好百度既然知道... 阅读全文