re模块 模块
import re
findall() 烦的奥
import re
# 1. findall 查找所有结果,数据不是特别庞大
lst = re.findall('a','abcsdfasdfa')
print(lst)
finditer() 烦的一特
#2. finditer 找到的结果返回迭代器
it = re.finditer(r'\d+','你好啊200,哈哈233')
for el in it:#从迭代器中获取到的是分组的信息
print(el.group())#个肉破,获取具体信息
search() 色吃
#3. search() 查找, 如果查找到第一个结果,就停止,如果查不到结果就返回None
ret = re.search('e','abc')
print(ret)#不要用空去点
match() 卖吃
#4. match() 查找
ret = re.match('a','abc')#从头开始找.给正则加^
print(ret.group())
相关操作
ret = re.split('ab','ab哈哈ab你好哈哈') (\d+)带了括号原来的刀还留着
print(ret)#按照正则切,切完了,产生空白
#sub(仨波)替换 第一个参数是替换的东西,第二个替换的结果
ret1 = re.sub('250','__sb__','哈哈250你好啊250,我不好250')
print(ret1)
#shbn(仨波n)替换,加替换了多少次
ret1 = re.subn('250','__sb__','哈哈250你好啊250,我不好250')
print(ret1)
#compile()康派奥!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!作用很大
obj = re.compile(r'\d+')#预加载.先把这个正则加载到内存,用的时候不用再加载,写一遍
lst = obj.findall('哈哈222,你好2222')#从内存中拿直接用
print(lst)
?P<名>正则 给正则取名字,想把什么抠出来,就用这个取名
obj = re.compile(r'(?P<id>\d+)(?P<zimu>e{3})')#给这个正则起名,取值好取
lst = obj.search('abcsdfjsd123eeelkabc')
print(lst.group())
print(lst.group('id'))
print(lst.group('zimu'))
?: 去掉分组
#分组
ret = re.findall('www.(baidu|oldboy).com','www.oldboy.com')
#去掉分组
ret1 = re.findall('www.(?:baidu|oldboy).com','www.oldboy.com')
爬虫
rom urllib.request import urlopen #打开一个链接.读取源代码
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
def getPage(url):
response = urlopen(url)#打开,和网页链接
return response.read().decode('utf_8')#返回正常页面源代码 读取源代码 编码 抵扣的
def parsePage(s):#页面源代码
ret = re.findall('<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?'+
'<span class="title">(?P<title>.*?)</span>'+
'.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>'+
'(?P<comment_num>.*?)评价</span>', s, re.S)
return ret #id,title, rating_num, comment_num
def main(num):
url = 'https://movie.douban.com/top250?start=%s&filter=' % num
response_html = getPage(url) # response_html是页面源代码
ret = parsePage(response_html)
print(ret) # id,title, rating_num, comment_num
s = 0
for i in range(10): #10页
main(s)#分页 第一个0 25 50 75
s += 25
精细版
import ssl
import re
from urllib.request import urlopen
# ⼲干掉数字签名证书
ssl._create_default_https_context = ssl._create_unverified_context
def getPage(url):
response = urlopen(url)
return response.read().decode('utf-8')
def parsePage(s):
com = re.compile(
'<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?' +
'<span class="title">(?P<title>.*?)</span>'+
'.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>'+
'(?P<comment_num>.*?)评价</span>', re.S)
ret = com.finditer(s)
for i in ret:
yield {
"id": i.group("id"),
"title": i.group("title"),
"rating_num": i.group("rating_num"),
"comment_num": i.group("comment_num"),}
def main(num):
url = 'https://movie.douban.com/top250?start=%s&filter=' % num
response_html = getPage(url)
ret = parsePage(response_html)
# print(ret)
f = open("move_info7", "a", encoding="utf8")
for obj in ret:
print(obj)
data = str(obj)
f.write(data + "\n")
count = 0
for i in range(10):
main(count)
count += 25
模块
import 模块名 嗯炮特
1.检查是否已经被导入过,顺序 内存 -> 内置 -> sys.path
2. 如果没有导入过这个模块,先创建一个名称空间
3. 然后把导入的模块执行一遍. 把执行的结果放在刚才的空间中
4. 把模块的名字命名给这个空间
所有被导入的模块都会放在sys.modules字典里
使用模块中的内容. 模块名字.方法/变量/类
__name__:
如果当前模块是程序的入口. __name__的值:__main___
if __name__ == '__main__': # __main__ 程序的入口
print("我在浪挖的测试")
如果模块是被其他模块引入的. __name__是模块名
from xxx import xxx
from 模块 import 模块中的内容
from 模块 import * 不推荐
导入的内容可以直接使用. 不需要模块.xxx. 和当前模块中的变量冲突
as可以起名字
import sys print(sys.modules.keys()) # 查看到已经引入的模块信息 print(sys.path)
