04 2018 档案

熟悉常用的HDFS操作
摘要：一、Hadoop提供的Shell命令完成相同任务： 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. 在本地查看文件位置（ls） 在本地显示文件内容 使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。 查 阅读全文
posted @ 2018-04-26 18:05 200张德标 阅读(118) 评论(0) 推荐(0)
爬虫大作业
摘要：爬取汽车之家网站信息： 1、主题：爬取汽车之家当中新闻的的内容，对内容中的词语进行分析，生成词云 网址：https://www.autohome.com.cn/news/?p=s#liststart 2、具体步骤实现 由于是一个函数所以需要适应所有的页面而不是只是适合一个页面，所以需要判断是否存在时 阅读全文
posted @ 2018-04-23 01:17 200张德标 阅读(257) 评论(0) 推荐(0)
数据结构化与保存
摘要：1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-->列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) 3. 安装pandas，用pand 阅读全文
posted @ 2018-04-17 21:02 200张德标 阅读(101) 评论(0) 推荐(0)
使用正则表达式，取得点击次数，函数抽离
摘要：学会使用正则表达式 1. 用正则表达式判定邮箱是否输入正确。 2. 用正则表达式识别出全部电话号码。 3. 用正则表达式进行英文分词。re.split('',news) 4. 使用正则表达式取得新闻编号 5. 生成点击次数的Request URL 6. 获取点击次数 7. 将456步骤定义成一个函数 阅读全文
posted @ 2018-04-10 21:45 200张德标 阅读(108) 评论(0) 推荐(0)
爬取校园新闻首页的新闻
摘要：1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文。 2. 分析字符串，获取每篇新闻的发布时间，作者，来源，摄影等信息。 3. 将其中的发布时间由str转换成datetime类型。 4. 将完整的代码及运行结果截图发布在作业上。 阅读全文
posted @ 2018-04-03 22:15 200张德标 阅读(76) 评论(0) 推荐(0)