Python爬虫实战，urllib模块，爬取中国工程院院士信息并保存txt

前言

今天用Python爬虫中国工程院院士简介，在这里给需要的小伙伴们代码，并且给出一点小心得。

开发工具

Python版本： 3.8

相关模块：

urllib模块

re模块

time模块

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

页面获取

打开工程院官方网站，F12或者鼠标右键查看全部院士名单，查看源代码，进行简单分析，得到规律，以便后面设计正则表达式（建议使用谷歌浏览器）

完整代码实现

import re
import os
import os.path
import time
from urllib.request import urlopen

dstDir = 'YuanShi'
if not os.path.isdir(dstDir):
    os.mkdir(dstDir)

startUrl = r'http://www.cae.cn/cae/html/main/col48/column_48_1.html'
with urlopen(startUrl) as fp:
    content = fp.read().decode()

# 提取并遍历每位大牛链接
pattern = r'<li class="name_list"><a href="(.+)" target="_blank">(.+)</a></li>'
result = re.findall(pattern, content)
for item in result:
    perUrl, name = item
    # 测试是否获取信息
    print(perUrl)
    # 这里根据初爬结果进行改进
    name = name.replace('<h3>', '').replace('</h3>', '')
    name = os.path.join(dstDir, name)
    perUrl = r'http://www.cae.cn/' + perUrl
    with urlopen(perUrl) as fp:
        content = fp.read().decode()

    # 抓取简介
    pattern = r'<p>(.+?)</p>'
    result = re.findall(pattern, content)  # 返回string中所有与pattern匹配的全部字符串,返回形式为数组。
    if result:
        intro = re.sub('(<a.+</a>)|(&ensp;)|(&nbsp);', '', '\n'.join(result))
        with open(name + '.txt', 'w', encoding='utf8') as fp:
            fp.write(intro)

最后

今天的分享到这里就结束了 ，感兴趣的朋友也可以去试试哈

对文章有问题的，或者有其他关于python的问题，可以在评论区留言或者私信我哦

觉得我分享的文章不错的话，可以关注一下我，或者给文章点赞(/≧▽≦)/