[python]《Python编程快速上手:让繁琐工作自动化》学习笔记1

1. 模式匹配与正则表达式笔记（第7章）(代码下载)

正则表达式，又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。

1.1 正则表达式匹配步骤
虽然在Python 中使用正则表达式有几个步骤，但每一步都相当简单。

1. 用import re 导入正则表达式模块。
2. 用re.compile()函数创建一个Regex 对象（记得使用原始字符串）。
3. 向Regex 对象的search()方法传入想查找的字符串。它返回一个Match 对象。
4. 调用Match 对象的group()方法，返回实际匹配文本的字符。

# 用import re 导入正则表达式模块
import re
# 创建了一个Regex对象
phoneNumRegex = re.compile(r'\d\d\d-\d\d\d-\d\d\d\d')
# 匹配字符串
mo = phoneNumRegex.search('My number is 415-555-4242.')
# group()方法返回实际匹配的字符串
print('phone num found is: ' + mo.group())

phone num found is: 415-555-4242

1.2 正则表达式匹配更多模式

1. 利用括号分组
   添加括号将在正则表达式中创建“分组”(\d\d\d)-(\d\d\d-\d\d\d\d)。然后可以使用group()匹配对象方法，从一个分组中获取匹配的文本。
2. 用管道匹配多个分组
   字符|称为“管道”。希望匹配许多表达式中的一个时，就可以使用它。例如，正则表达式r’Batman|Tina Fey’将匹配’Batman’或’Tina Fey’。
3. 用问号实现可选匹配
   有时候，想匹配的模式是可选的。就是说，不论这段文本在不在，正则表达式都会认为匹配。字符?表明它前面的分组在这个模式中是可选的。也可以理解为匹配这个问号之前的分组零次或一次。
4. 用星号匹配零次或多次
   *（称为星号）意味着“匹配零次或多次”，即星号之前的分组，可以在文本中出现任意次。它可以完全不存在，或一次又一次地重复。
5. 用加号匹配一次或多次
   加号+前面的分组必须“至少出现一次
6. 用花括号匹配特定次数
   • 如果想要一个分组重复特定次数，就在正则表达式中该分组的后面，跟上花括号包围的数字。例如，正则表达式(Ha){3}将匹配字符串’HaHaHa’。
   • 除了一个数字，还可以指定一个范围，即在花括号中写下一个最小值、一个逗号和一个最大值。例如，正则表达式(Ha){1,2}将匹配 ‘Ha’ 和 ‘HaHa’。
   • 也可以不写花括号中的第一个或第二个数字，不限定最小值或最大值。例如，(Ha){3,}将匹配3 次或更多次实例。
7. 用花括号和问号匹配非贪心模式
   Python 的正则表达式默认是“贪心”的，这表示在有二义的情况下，它们会尽可能匹配最长的字符串。花括号的“非贪心”版本匹配尽可能最短的字符串，即在
   结束的花括号后跟着一个问号。

1.3 findall()方法
search()将返回一个Match对象，包含被查找字符串中的“第一次”匹配的文本，而findall()方法将返回一组字符串，包含被查找字符串中的所有匹配。

import re
phoneNumRegex = re.compile(r'\d\d\d-\d\d\d-\d\d\d\d')
# search返回第一次匹配
mo = phoneNumRegex.search('Cell: 415-555-9999 Work: 212-555-0000')
mo.group()

'415-555-9999'

# findall返回所有结果
phoneNumRegex = re.compile(r'\d\d\d-\d\d\d-\d\d\d\d')
phoneNumRegex.findall('Cell: 415-555-9999 Work: 212-555-0000')

['415-555-9999', '212-555-0000']

1.4 字符分类

缩写字符分类	表示
\d	0 到9 的任何数字
\D	除0 到9 的数字以外的任何字符
\w	任何字母、数字或下划线字符（可以认为是匹配“单词”字符）
\W	除字母、数字和下划线以外的任何字符
\s	空格、制表符或换行符（可以认为是匹配“空白”字符）
\S	除空格、制表符和换行符以外的任何字符

1.5 建立自己的字符分类

• 有时候你想匹配一组字符，但缩写的字符分类（\d、\w、\s 等）太宽泛。你可
  以用方括号定义自己的字符分类。例如，字符分类[aeiouAEIOU]将匹配所有元音字
  符，不论大小写。

import re
vowelRegex = re.compile(r'[aeiouAEIOU]')
vowelRegex.findall('RoboCop eats baby food. BABY FOOD.')

['o', 'o', 'o', 'e', 'a', 'a', 'o', 'o', 'A', 'O', 'O']

• 可以使用短横表示字母或数字的范围。例如，字符分类[a-zA-Z0-9]将匹配所有小写字母、大写字母和数字。

import re
vowelRegex = re.compile(r'[a-zA-Z0-9]')
vowelRegex.findall('RoboCop eats baby food. BABY FOOD.')

['R',
 'o',
 'b',
 'o',
 'C',
 'o',
 'p',
 'e',
 'a',
 't',
 's',
 'b',
 'a',
 'b',
 'y',
 'f',
 'o',
 'o',
 'd',
 'B',
 'A',
 'B',
 'Y',
 'F',
 'O',
 'O',
 'D']

• 通过在字符分类的左方括号后加上一个插入字符（^），就可以得到“非字符类”。非字符类将匹配不在这个字符类中的所有字符。

import re
consonantRegex = re.compile(r'[^aeiouAEIOU]')
consonantRegex.findall('RoboCop eats baby food. BABY FOOD.')

['R',
 'b',
 'C',
 'p',
 ' ',
 't',
 's',
 ' ',
 'b',
 'b',
 'y',
 ' ',
 'f',
 'd',
 '.',
 ' ',
 'B',
 'B',
 'Y',
 ' ',
 'F',
 'D',
 '.']

• 插入字符和美元字符
  正则表达式的开始处使用插入符号（^），表明匹配必须发生在被查找文本开始处。
  正则表达式的末尾加上美元符号，表示该字符串必须以这个正则表达式的模式结束。可以同时使用^和$，表明整个字符串必须匹配该模式。

1.6 通配字符

1. .(句点)字符称为“通配符”。它匹配除了换行之外的所有字符。
2. 用点-星（.*）表示“任意文本”。
3. 通过传入re.DOTALL 作为re.compile()的第二个参数，可以让句点字符匹配所有字符，包括换行字符。

1.7 正则表达式符号总结

1.8 sub() 替换字符串

Regex对象的sub()方法需要传入两个参数。第一个参数是一个字符串，用于取代发现的匹配。第二个参数是一个字符串，即正则表达式。sub()方法返回替换完成后的字符串。

import re
namesRegex = re.compile(r'Agent \w+')
namesRegex.sub('CENSORED', 'Agent Alice gave the secret documents to Agent Bob.')

'CENSORED gave the secret documents to CENSORED.'

1.9 compile的第二个参数

1. re.IGNORECASE 忽视大小写
2. re.VERBOSE 编写注释
3. re.DOTALL 句点表示所有字符（没有这个则表示除换行符外的所有字符）

2. 项目练习

2.1 电话号码和E-mail 地址提取程序

功能：在剪贴板的文本中查找电话号码和E-mail 地址，按一下Ctrl-A 选择所有文本，按下Ctrl-C 将它复制到剪贴板，然后运行程序。找到电话号码和E-mail地址，替换掉剪贴板中的文本。
文本例子地址：http://www.nostarch.com/contactus

主要步骤:
第1步：为电话号码创建一个正则表达式
第2步：为E-mail 地址创建一个正则表达式
第3步：在剪贴板文本中找到所有匹配
第4步：所有匹配连接成一个字符串，复制到剪贴板

#! python3
# Finds phone numbers and email addresses on the clipboard.
# text:
'''
Contact Us

No Starch Press, Inc.
245 8th Street
San Francisco, CA 94103 USA
Phone: 800.420.7240 or +1 415.863.9900 (9 a.m. to 5 p.m., M-F, PST)
Fax: +1 415.863.9950

Reach Us by Email

General inquiries: info@nostarch.com
Media requests: media@nostarch.com
Academic requests: academic@nostarch.com (Please see this page for academic review requests)
Help with your order: info@nostarch.com
Reach Us on Social Media
Twitter
Facebook
Instagram
Pinterest
100.420.7240 x 123
'''

import pyperclip
import re

# 为电话号码创建一个正则表达式
# 电话号码 phone
phoneRegex = re.compile(r'''(
        (\d{3}|\(\d{3}\))? # area code
        (\s|-|\.)? # separator
        (\d{3}) # first 3 digits
        (\s|-|\.) # separator
        (\d{4}) # last 4 digits
        (\s*(ext|x|ext.)\s*(\d{2,5}))? # extension
        )''', re.VERBOSE)

# 为E-mail 地址创建一个正则表达式
# Create email regex. 邮件
emailRegex = re.compile(r'''(
    [a-zA-Z0-9._%+-]+ # username
    @ # @ symbol
    [a-zA-Z0-9.-]+ # domain name
    (\.[a-zA-Z]{2,4}) # dot-something
    )''', re.VERBOSE)
# TODO: Create email regex.
# TODO: Find matches in clipboard text.
# TODO: Copy results to the clipboard.


# Find matches in clipboard text.
# 获得剪切板文件
text = str(pyperclip.paste())
matches = []
a = phoneRegex.findall(text)
for groups in phoneRegex.findall(text):
    # 读取数字
    phoneNum = '-'.join([groups[1], groups[3], groups[5]])
    # 如果没有分号
    if groups[8] != '':
        phoneNum += ' x' + groups[8]
    matches.append(phoneNum)
for groups in emailRegex.findall(text):
    matches.append(groups[0])

# Copy results to the clipboard.
if len(matches) > 0:
    pyperclip.copy('\n'.join(matches))
    print('Copied to clipboard:')
    print('\n'.join(matches))
else:
    print('No phone numbers or email addresses found.')

Copied to clipboard:
800-420-7240
415-863-9900
415-863-9950
100-420-7240 x123
info@nostarch.com
media@nostarch.com
academic@nostarch.com
info@nostarch.com

2.2 强口令检测

写一个函数，它使用正则表达式，确保传入的口令字符串是强口令。强口令的定义是：长度不少于8 个字符，同时包含大写和小写字符，至少有一位数字。

import re
import pyperclip

def detect(text):
    if len(text)<8:
        return False
    test1=re.compile(r'([0-9])')
    result1=test1.search(text)
    if result1==None:
        return False
            
    test2=re.compile(r'([A-Z])')
    result2=test2.search(text)
    if result2==None:
        return False       
    
    test3=re.compile(r'([a-z])')
    result3=test3.search(text)
    if result3==None:
        return False
    
    return True        
            
text='uusssZmi0546'
status=detect(text)
print(status)

True

2.3 strip()的正则表达式版本

写一个函数，它接受一个字符串，做的事情和strip()字符串方法一样。如果只传入了要去除的字符串，没有其他参数，那么就从该字符串首尾去除空白字符。否
则，函数第二个参数指定的字符将从该字符串中去除。

import re

def my_strip(text,param=''):
    if len(param)<1:
        param='\s'
    params_begin= r'^[{}]*'.format(param)
    params_end= r'[{}]*$'.format(param)
    my_begin=re.compile(params_begin,re.I)
    my_end=re.compile(params_end,re.I)
    my=my_begin.sub('', text)
    text=my_end.sub('', my)
    return text
text='SpamSpamBaconSpamEggsSpamSpam'
param='SPAM'    
text=my_strip(text,'SPAM')
print(text)

BaconSpamEgg