爬取校园新闻首页的新闻

复制代码
import requests
from bs4 import BeautifulSoup
from datetime import datetime
  
url = "http://news.gzcc.cn/html/xiaoyuanxinwen/"
res = requests.get(url)
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text, 'html.parser')
a = soup.select('li')
  
  
for news in a:
    if len(news.select('.news-list-title'))>0:
        t = news.select('.news-list-title')[0].text
        dt = news.select('.news-list-info')[0].contents[0]
        dd = news.select('.news-list-info')[0].contents[1].text
        a1 = news.select('a')[0].attrs['href']
        res1 = requests.get(a1)
        res1.encoding = 'utf-8'
        soup1 = BeautifulSoup(res1.text, 'html.parser')
        content = soup1.select("#content")[0].text
        about = soup1.select('.show-info')[0].text
        time = about.lstrip('发布时间:')[:19]
        s = datetime.strftime(time,'%Y-%m-%d %H:%M:S%')
        now = datetime.now()
        type(now)
        now.strftime('%Y-%m-%d %H:%M:S%')
        if about.find('来源:')>0:
            origin = about[about.find('来源:'):].split()[0].lstrip('来源:')
        if about.find('作者:')>0:
            writer = about[about.find('作者:'):].split()[0].lstrip('作者:')
        if about.find('摄影:')>0:
            photograph = about[about.find('摄影:'):].split()[0].lstrip('摄影:')
        print(t,dt,dd,a1,now,origin,writer,photograph)
str = '2018-03-30 17:10:12 '
datetime.strptime(str,'%Y-%m-%d %H:%M:%S ')
print('\n',str)
复制代码

 

posted on   105李梓维  阅读(96)  评论(0编辑  收藏  举报

编辑推荐:
· 智能桌面机器人:用.NET IoT库控制舵机并多方法播放表情
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
阅读排行:
· 手把手教你在本地部署DeepSeek R1,搭建web-ui ,建议收藏!
· 新年开篇:在本地部署DeepSeek大模型实现联网增强的AI应用
· Janus Pro:DeepSeek 开源革新,多模态 AI 的未来
· 互联网不景气了那就玩玩嵌入式吧,用纯.NET开发并制作一个智能桌面机器人(三):用.NET IoT库
· 【非技术】说说2024年我都干了些啥
< 2025年1月 >
29 30 31 1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31 1
2 3 4 5 6 7 8

导航

统计

点击右上角即可分享
微信分享提示