Java中的爬虫

合集 - Java入门(36)

1.java键盘录入2023-04-232.JAVA运算符详解2023-04-243.流程控制语句 ——if语句2023-04-254.JAVA中switch语句格式2023-04-265.JAVA中的for循环和while循环详解2023-04-286.JAVA随机数的使用2023-04-297.JAVA中的内存分配2023-05-028.JAVA方法详解2023-05-039.JAVA中的数组详解2023-05-0310.JAVA中字符串的常用方法2023-05-0411.JAVA中的两个容器StringBuilder和StringJoiner概述2023-05-0512.JAVA中ArrayList集合详解2023-05-0613.JAVA中的static关键字2023-05-0814.JAVA——继承详解2023-05-1415.JAVA 多态详解2023-05-1516.JAVA 多态详解2023-05-1617.Java中的包2023-05-2018.Java中的final,权限修饰符与抽象类2023-05-2019.JAVA中的接口详解2023-05-2120.JAVA的内部类2023-05-2721.java中的常用类及常用方法2023-05-2822.正则表达式2023-05-29

23.Java中的爬虫2023-06-03

24.JAVA——时间类2023-06-0725.JAVA——包装类及Integer的成员方法2023-06-1026.算法总结2023-06-1027.Arrays ——操作数组的工具类2023-06-1228.Lambda表达式2023-06-1629.集合体系结构2023-06-1830.JAVA之树的详解2023-06-2131.Set系列集合2023-06-2232.java——双列集合2023-08-2933.stream流的思想2023-10-0234.JAVA入门——方法引用2023-10-0435.JAVA——异常2023-10-0636.File --JAVA2023-10-31

收起

爬虫

pattern :表示正则表达式

Matcher:文本匹配器，作用按照正则表达式的规则去读取字符串，从头开始读取

步骤：

1. 获取正则表达式的对象

   Pattern p=Pattern.compile(" 正则表达式");

2. 获取文本匹配器的对象

   String str="文本";

   Matcher m=p.matcher(str);

   p：规则，str：大串，m；文本匹配器的对象 m要在str中找符合p规则的小串

3. 拿着文本匹配器从头开始读取，寻找是否满足规则的字串，如果没有，方法返回false。

   如果有，返回true，在底层记录字串的起始索引和结束索引。 boolean b=m.find();

4. 方法底层会根据find方法记录的索引进行字符串的截取。

SubString(起始索引，结束索引);包头不包尾

会把截取的小串进行返回

String sl=m.group();

System.out.println(sl);打印

 

循环方法

1. 获取正则表达式的对象

   Pattern p=pattern.compile("正则表达式")；

2. 获取文本匹配器的对象

   拿着m去读取str，找符合p规则的字串

   Matcher m=p.matcher(str) str:文本

   3. 利用循环获取

   while(m.find()){

   String s=m.group();

   System.out.println(s);

   }

   m.find()为false时，循环结束

爬取模式

贪婪爬取：在爬取中尽可能多的获取数据

非贪婪爬取：在爬取中尽可能少的获取数据

例：abbbbbbb

贪婪爬取：ab+ --> abbbbbbb

非贪婪爬取：ab+？ --> ab

在数量词+*后面加上问号，就是非贪婪爬取

 

方法

方法名	说明
public String [] matches(String regex)	判断字符串是否满足正则表达式的规则
public String replaceAll(String regex,String newStr)	按正则表达式的规则替换
public String split(String regex)	按照正则表达式的规则切割字符串

捕获分组和非捕获分组

捕获分组（默认）：

后续还要用本组的数据

正则内部使用： \ \组号

正则外部使用：$ 组号

非捕获分组：

分组之后不需要再用本组数据，仅仅是把数据括起来，不占组号

 

注意：组号从1开始，连续不间断，以左括号为基准，最左边是第一组

符号	含义	举例
(?:正则)	获取所有	java(?:8|11|17)
(?=正则)	获取前面部分	java(?=8|11|17)
(?!正则)	获取不是指定内容的前面部分	java(?!8|11|17)