java 爬虫入门学习大纲,
一 . 学习基础知识 例如 常用 http请求头的含义
二. 学习java 抓取网页的 几种主流方式。
(1) httpurlConnection 抓取网页 get 请求网页 。 post 带参数 请求网页 .
(2) Jsoup抓取网页 get 请求网页 。 post 带参数 请求网页 .
(3) httpClient 抓取网页 get 请求网页 。 post 带参数 请求网页 .
(4) htmlunit 抓取网页 get 请求网页 。 post 带参数 请求网页 .
三。学习设置代理的几种方式。
四.模拟登陆的几种方式
进阶知识
1.Fiddler 抓包.
2.执行js方法
3.反编译apk获得源码并分析.
等