使用正则表达式,取得点击次数,函数抽离
学会使用正则表达式
1. 用正则表达式判定邮箱是否输入正确。
import re r='^(\w)+(\.\w+)*@(\w)+((\.\w{2,3}){1,3})$' e='3947653@qq.com' if re.match(r,e): print(re.match(r,e).group(0)) else: print('error')
2. 用正则表达式识别出全部电话号码。
str='''版权所有:广州商学院 地址:广州市黄埔区九龙大道206号 学校办公室:020-82876130 招生电话:020-82872773 粤公网安备 44011602000060号 粤ICP备15103669号''' print(re.findall('(\d{3,4})-(\d{6,8})',str))
3. 用正则表达式进行英文分词。re.split('',news)
news='''Passion is sweet Love makes weak You said you cherised freedom so You refused to let it go Follow your faith Love and hate never failed to''' print(news.split())
4. 使用正则表达式取得新闻编号
import requests import re res=requests.get('http://oa.gzcc.cn/api.php?op=count& id=8249&modelid=80') res.encoding='utf-8' print(int(res.text.split('.html')[-1].lstrip("(')").rstrip("');"))) newsUrl='http://news.gzcc.cn/html/2017/xiaoyuanxinwen_0925/8249.html' re1=re.search('\_(.*).html',newsUrl).group(1).split('/')[-1] re2=re.findall('\_(.*).html',newsUrl)[0].split('/')[-1] print(re1) print(re2)
5. 生成点击次数的Request URL
import re newUrl = "http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0404/9183.html" newsId = re.findall("\_(.*).html",newUrl)[0].split("/")[-1]; RequestUrl = "http://oa.gzcc.cn/api.php?op=count&id={}&modelid=80".format(newsId) print(RequestUrl)
6. 获取点击次数
import re newUrl = "http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0404/9183.html" newsId = re.findall("\_(.*).html",newUrl)[0].split("/")[-1]; res = requests.get("http://oa.gzcc.cn/api.php?op=count&id={}&modelid=80".format(newsId)) print(int(res.text.split(".html")[-1].lstrip("('").rsplit("');")[0]))
7. 将456步骤定义成一个函数 def getClickCount(newsUrl):
def getClickCount(newsUrl): newsId = re.findall('\_(.*).html', newsUrl)[0].split('/')[1] clickUrl = 'http://oa.gzcc.cn/api.php?op=count&id={}&modelid=80'.format(newsId)
return (int(requests.get(clickUrl).text.split('.html')[-1].lstrip("('").rstrip("');")))
8. 将获取新闻详情的代码定义成一个函数 def getNewDetail(newsUrl):
def getNewDetail(newsUrl): detail_res = requests.get(newsUrl) detail_res.encoding = "utf-8" detail_soup = BeautifulSoup(detail_res.text, "html.parser") print(detail_soup.select("#content")[0].text) # 正文 print(time, title, description, newsUrl) content = detail_soup.select("#content")[0].text info = detail_soup.select(".show-info")[0].text date_time = info.lstrip('发布时间:')[:19] print(info)
9. 取出一个新闻列表页的全部新闻 包装成函数def getListPage(pageUrl):
def getlist(url): for news in soup.select("li"): if len(news.select(".news-list-title"))>0: #排除为空的li time = news.select(".news-list-info")[0].contents[0].text title = news.select(".news-list-title")[0].text description = news.select(".news-list-description")[0].text detail_url = news.select('a')[0].attrs['href'] print(time, title, description, detail_url)
10. 获取总的新闻篇数,算出新闻总页数包装成函数def getPageN():
def getPageN(url): res = requests.get(url) res.encoding = 'utf-8' soup = BeautifulSoup(res.text, 'html.parser') return int(soup.select(".a1")[0].text.rstrip("条"))//10+1
11. 获取全部新闻列表页的全部新闻详情。
def getall(url): for num in range(2,getPageN(url)): listpageurl="http://news.gzcc.cn/html/xiaoyuanxinwen/{}.html".format(num) getlist(listpageurl) getNewDetail(listpageurl)
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步