Hadoop综合大作业
摘要：
1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）词频统计。 我所用到短篇小说是傲慢与偏见，为了方便后续处理，对小说的特殊符号进行了处理，结果如图。 载入数据 创建查表 最终结果： 2.用Hive对爬虫大作业产生的csv文件进行数据分析，写一篇博客描述你的分析过程和分析结 阅读全文
posted @ 2018-05-24 14:57 105李梓维 阅读(224) 评论(0) 推荐(0) 编辑
理解MapReduce
摘要：
1. 用Python编写WordCount程序并提交任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔 编写map函数，reduce函数 将其权限作出相应修改 #！/usr/ 阅读全文
posted @ 2018-05-14 08:47 105李梓维 阅读(141) 评论(0) 推荐(0) 编辑
熟悉HBase基本操作
摘要：
用Python编写WordCount程序任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔 编写map函数，reduce函数 1.创建函数 2.编写两个函数 将其权限作出相应 阅读全文
posted @ 2018-05-10 22:03 105李梓维 阅读(94) 评论(0) 推荐(0) 编辑
熟悉常用的HBase操作
摘要：
1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据： 学生表（Student）（不包括最后一列） 学号（S_No） 姓名（S_Name） 性别（S_Sex） 年龄（S_Age） 课程（course） 2015001 Zhangsan male 23 2015003 阅读全文
posted @ 2018-05-04 20:58 105李梓维 阅读(100) 评论(0) 推荐(0) 编辑
熟悉常用的HDFS操作
摘要：
一、Hadoop提供的Shell命令完成相同任务： 二、 阅读全文
posted @ 2018-04-27 09:17 105李梓维 阅读(139) 评论(0) 推荐(0) 编辑
爬虫大作业
摘要：
python爬虫 抓取《极简宇宙史》书评，制作词云 分析网页源码，进行数据抓取 数据抓取完之后，删除标点符号。把全部书评复制到桌面的一个新建文本文档中 生成词云 运行程序之后，生成的词云如图所示： 阅读全文
posted @ 2018-04-24 18:17 105李梓维 阅读(182) 评论(0) 推荐(0) 编辑
数据结构化与保存
摘要：
1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-->列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) import pandas imp 阅读全文
posted @ 2018-04-17 20:38 105李梓维 阅读(88) 评论(0) 推荐(0) 编辑
使用正则表达式，取得点击次数，函数抽离
摘要：
1. 用正则表达式判定邮箱是否输入正确。 2. 用正则表达式识别出全部电话号码。 3. 用正则表达式进行英文分词。re.split('',news) 4. 使用正则表达式取得新闻编号 5. 生成点击次数的Request URL 6. 获取点击次数 7. 将456步骤定义成一个函数 def getCl 阅读全文
posted @ 2018-04-09 19:58 105李梓维 阅读(98) 评论(0) 推荐(0) 编辑
爬取校园新闻首页的新闻
摘要：
import requests from bs4 import BeautifulSoup from datetime import datetime url = "http://news.gzcc.cn/html/xiaoyuanxinwen/" res = requests.get(url) res.encoding = 'utf-8' soup = BeautifulSoup(res... 阅读全文
posted @ 2018-04-02 22:06 105李梓维 阅读(94) 评论(0) 推荐(0) 编辑
