正则表达式&&Java文本复杂操作

正则表达式
1.正则表达式的优势和用途？
　　一种强大而灵活的文本处理工具；
　　大部分编程语言 、数据库、文本编辑器、开发环境都支持正则表达式。
2.正则表达式定义：
　　正如他的名字一样是描述了一个规则，通过这个规则可以匹配一类字符串。

3.正则表达式语法

（1）普通字符
　　字母、数字、汉字、下划线、以及没有特殊定义的标点符号，都是“普通字符”。表达式中的普通字符，在匹配一个字符串的时候，匹配与之相同的一个字符。
（2）简单的转义字符

\n	代表换行符
\t	制表符
\\	代表\本身
\^ ，\$,\.，\(， \) ， \{， \} ， \? ， \+ ， \* ，\| ，\[， \]	匹配这些字符本身

（3）标准字符集合

　　注意区分大小写，大写是相反的意思

\d	任意一个数字，0~9 中的任意一个
\w	任意一个字母或数字或下划线，也就是 A~Z,a~z,0~9,_ 中任意一个
\s	包括空格、制表符、换行符等空白字符的其中任意一个
.	小数点可以匹配任意一个字符(除了换行符)如果要匹配包括“\n”在内的所有字符，一般用[\s\S]

（4）自定义字符集合

　　[ ]方括号匹配方式，能够匹配方括号中任意一个字符

　　正则表达式的特殊符号，被包含到中括号中，则失去特殊意义，除了^,-之外。
　　标准字符集合，除小数点外，如果被包含于中括号，自定义字符集合将包含该集合。比如：[\d.\-+]将匹配：数字、小数点、+、-

[ab5@]	匹配 "a" 或 "b" 或 "5" 或 "@"
[^ abc]	匹配 "a","b","c" 之外的任意一个字符
[f-k]	匹配 "f"~"k" 之间的任意一个字母
[^A-F0-3]	匹配 "A"~"F","0"~"3" 之外的任意一个字符

（5）量词：修饰匹配次数的特殊符号

　　匹配次数中的贪婪模式(匹配字符越多越好，默认！)
　　 匹配次数中的非贪婪模式（匹配字符越少越好，修饰匹配次数的特殊符号后再加上一个 "?" 号）

{n}	表达式重复n次
{m,n}	表达式至少重复m次，最多重复n次
{m,}	表达式至少重复m次
?	匹配表达式0次或者1次，相当于 {0,1}
+	表达式至少出现1次，相当于 {1,}
*	表达式不出现或出现任意次，相当于 {0,}

（6）字符边界

^	与字符串开始的地方匹配
$	与字符串结束的地方匹配
\b	匹配一个单词边界

正则表达式匹配模式：

• IGNORECASE 忽略大小写模式

　　　　匹配时忽略大小写。

　　 　　默认情况下，正则表达式是要区分大小写的。

• SINGLELINE 单行模式

　　　　整个文本看作一个字符串，只有一个开头，一个结尾。
　　　　使小数点 "." 可以匹配包含换行符（\n）在内的任意字符。

• MULTILINE 多行模式

　　　　每行都是一个字符串，都有开头和结尾。
　　　　 在指定了 MULTILINE 之后，如果需要仅匹配字符串开始和结束位置，可以使用 \A 和 \Z

（7）选择符和分组

表达式	作用
|分支结构	左右两边表达式之间 "或" 关系，匹配左边或者右边
( )捕获组	(1). 在被修饰匹配次数的时候，括号中的表达式可以作为整体被修饰 (2). 取匹配结果的时候，括号中的表达式匹配到的内容可以被单独得到 (3). 每一对括号会分配一个编号，使用 () 的捕获根据左括号的顺序从 1 开始自动编号。捕获元素编号为零的第一个捕获是由整个正则表达式模式 匹配的文本
(?:Expression)非捕获组	一些表达式中，不得不使用( )，但又不需要保存( )中子表达式匹 配的内容，这时可以用非捕获组来抵消使用( )带来的副作用。

反向引用(\nnn)：

　　每一对()会分配一个编号，使用 () 的捕获根据左括号的顺序从 1 开始自动编号。
　　通过反向引用，可以对分组已捕获的字符串进行引用。

(8) 预搜索(零宽断言)

 　　只进行子表达式的匹配，匹配内容不计入最终的匹配结果，是零宽度
　　这个位置应该符合某个条件。判断当前位置的前后字符，是否符合指定的条件，但不匹配前后的字符。是对位置的匹配。
　　正则表达式匹配过程中，如果子表达式匹配到的是字符内容，而非位置，并被保存到最终的匹配结果中，那么就认为这个子表达式是占有字符的；如果子表达式匹配的仅仅是位置，或者匹配的内容并不保存到最终的匹配结果中，那么就认为这个子表达式是 零宽度 的。占有字符还是零宽度，是针对匹配的内容是否保存到最终的匹配结果中而言的。

(?=exp)	断言自身出现的位置的后面能匹配表达式exp
(?<=exp)	断言自身出现的位置的前面能匹配表达式exp
(?!exp)	断言此位置的后面不能匹配表达式exp
(?<!exp)	断言此位置的前面不能匹配表达式exp

4.常用的正则表达式列表

匹配中文字符	[\u4e00-\u9fa5]
匹配空白行	\n\s*\r
匹配HTML标记	<(\S*?)[^>]*>.*?</\1>|<.*? />
匹配首尾空白字符	^\s*|\s*$
匹配Email地址	\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*
匹配网址URL	[a-zA-z]+://[^\s]*
匹配国内电话号码	\d{3}-\d{8}|\d{4}-\d{7}
匹配腾讯QQ号	[1-9][0-9]{4,}
匹配中国邮政编码	[1-9]\d{5}(?!\d)
匹配身份证	\d{15}|\d{18}
匹配ip地址	\d+\.\d+\.\d+\.\d+

5.Java程序中使用正则表达式

 相关类位于：java.util.regex包下面
类 Pattern：

　　正则表达式的编译表示形式。
　　Pattern p = Pattern. compile(r,int) ; //建立正则表达式，并启用相应模式
类 Matcher：
　　通过解释 Pattern 对 character sequence 执行匹配操作的引擎
　　Matcher m = p.matcher(str); //匹配str字符串

public class Demo01 {
    public static void main(String[] args) {
        
        //表达式对象
        Pattern p = Pattern.compile("\\w+");
        
        //创建Matcher对象
        Matcher m  = p.matcher("asfsdf&23323");
        
        boolean flag = m.matches(); //尝试将整个字符序列与该模式匹配
        
        boolean flag2 = m.find(); //该方法扫描输入的序列，查找与该模式匹配的下一个子序列
        
        String str = m.group(); //返回找到的字符串
        
        String newStr = m.replaceAll("#");///替换
        
        String str2 = "asds234adsa23sdsf";
        String[] arrs = str2.split("\\d+");
        System.out.println(Arrays.toString(arrs));
        
    }
}

6.简单网络爬虫 如:weget

/**
 * 简单网络爬虫
 * @author MA
 *
 */
public class WebSpiderTest {
    
    public static String getURLContent(String urlStr,String charSet) throws IOException{
        StringBuilder sb = new StringBuilder();
        try {
            URL url = new URL(urlStr);
            BufferedReader reader =new BufferedReader(new InputStreamReader(url.openStream(),Charset.forName(charSet)));
            String temp = "";
            while((temp=reader.readLine())!=null){
                //System.out.println(temp);
                sb.append(temp);
            }
        } catch (MalformedURLException e) {
            
            e.printStackTrace();
        }
        return sb.toString();
    }
    
    public static List<String> getMatherSubstrs(String destStr,String regexStr){
        //Pattern p = Pattern.compile("<a[\\s\\S]+?</a>");//取到超链接整个内容
        Pattern p = Pattern.compile(regexStr);//取到超链接地址 
        Matcher m = p.matcher(destStr);
        List<String> result =new ArrayList<String>();    
        while(m.find()){
            result.add(m.group(1));
        }
        return result;
    }
    public static void main(String[] args) throws Exception {
        
        String destStr = getURLContent("http://www.163.com","gbk");
        
        List<String> result = getMatherSubstrs(destStr, "href=\"([\\w\\s./:]+?)\"");
        
        for(String temp : result){
            System.out.println(temp);
        }
    }
}