随笔分类 - 网络爬虫
摘要：1、手机连个wifi,然后wifi修改自动为手动； 2、主机名称设置为电脑端的IPv4; 3、端口默认8888，点击保存； 4、打开fiddler，点击手机调试看看有没有包； 5、fiddler 上也要进行设置，本人电脑已经设置好，详细自己百度；
阅读全文
摘要：需要下载jsoup-1.8.1.jar包 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 网页获取和解析速度飞快，推荐使用。主要功能如下： 1. 从一个UR
阅读全文
摘要：什么是网络爬虫？ 网络爬虫又叫蜘蛛，网络蜘蛛是通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这
阅读全文
