10 2017 档案

一个完整的大作业
摘要：1.选一个自己感兴趣的主题。 2.网络上爬取相关的数据。 3.进行文本分析，生成词云。 4.对文本分析结果解释说明。 5.写一篇完整的博客，附上源代码、数据爬取及分析结果，形成一个可展示的成果。 首先，本人本次选择要爬取的网站是http://www.gd.chinanews.com/index/gd 阅读全文
posted @ 2017-10-31 21:22 彭炜杰 阅读(286) 评论(0) 推荐(0) 编辑
数据结构化与保存
摘要：1.结构化： 单条新闻的详情字典：news 一个列表页所有单条新闻汇总列表：newsls.append(news) 所有列表页的所有新闻汇总列表：newstotal.extend(newsls) 2.转换成pandas的数据结构DataFrame 3.从DataFrame保存到excel 4.从Da 阅读全文
posted @ 2017-10-19 21:50 彭炜杰 阅读(135) 评论(0) 推荐(0) 编辑
爬取校园网新闻
摘要：1.获取单条新闻的#标题#链接#时间#来源#内容 #点击次数，并包装成一个函数。 2.获取一个新闻列表页的所有新闻的上述详情，并包装成一个函数。 3.获取所有新闻列表页的网址，调用上述函数。 4.完成所有校园新闻的爬取工作。 结果： 完成自己所选其他主题相应数据的爬取工作。 阅读全文
posted @ 2017-10-12 19:41 彭炜杰 阅读(192) 评论(0) 推荐(0) 编辑