04 2018 档案

爬虫大作业
摘要：1、选一个自己感兴趣的主题。 2、用python 编写爬虫程序，从网络上爬取相关主题的数据。 3、对爬了的数据进行文本分析，生成词云。 4、对文本分析结果进行解释说明。 5、写一篇完整的博客，描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。 6、最后提交爬取的全部数据、爬虫及数据分析源代 阅读全文
posted @ 2018-04-29 20:50 lawliet9 阅读(225) 评论(0) 推荐(0) 编辑
熟悉常用的HDFS操作
摘要：编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务： 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. 在本地查看文件位置（ls） 在本地显示文件内容 cd /usr/local/hadoop touch test1. 阅读全文
posted @ 2018-04-25 16:35 lawliet9 阅读(222) 评论(0) 推荐(0) 编辑
数据结构化与保存
摘要：1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-->列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) 3. 安装pandas，用pand 阅读全文
posted @ 2018-04-12 20:27 lawliet9 阅读(151) 评论(0) 推荐(0) 编辑
获取全部校园新闻
摘要：1.取出一个新闻列表页的全部新闻 包装成函数。 2.获取总的新闻篇数，算出新闻总页数。 3.获取全部新闻列表页的全部新闻详情。 4.找一个自己感兴趣的主题，进行数据爬取，并进行分词分析。不能与其它同学雷同。 阅读全文
posted @ 2018-04-11 19:14 lawliet9 阅读(148) 评论(0) 推荐(0) 编辑
爬取校园新闻首页的新闻的详情，使用正则表达式，函数抽离
摘要：1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文、show-info。 2. 分析info字符串，获取每篇新闻的发布时间，作者，来源，摄影等信息。 3. 将字符串格式的发布时间转换成datetime类型 4. 使用正则表达式取得新闻编号 5. 生成点击 阅读全文
posted @ 2018-04-08 20:19 lawliet9 阅读(207) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示