210潘光辉 - 博客园

Hadoop综合大作业

摘要： 1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。因为python生成的结果为中文，所以我下载了英文长篇小说是《Just A Girl》，下载完更改名字为girl.txt方便操作。首先启动hadoop： Hdfs上创建文件夹：文件上传到hdfs：启动阅读全文

posted @ 2018-05-25 12:41 210潘光辉阅读(68) 评论(0) 推荐(0) 编辑

hive基本操作与应用

摘要：通过hadoop上的hive完成WordCount 启动hadoop Hdfs上创建文件夹上传文件至hdfs 启动Hive 创建原始文档表导入文件内容到表docs并查看用HQL进行词频统计，结果放在表word_count里查看统计结果阅读全文

posted @ 2018-05-16 19:00 210潘光辉阅读(76) 评论(0) 推荐(0) 编辑

熟悉HBase基本操作

摘要： 1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：学生表（Student）（不包括最后一列）学号（S_No）姓名（S_Name）性别（S_Sex）年龄（S_Age）课程（course） 2015001 Zhangsan male 23 2015003 阅读全文

posted @ 2018-05-09 21:13 210潘光辉阅读(176) 评论(0) 推荐(0) 编辑

爬虫大作业（爬取广州番禺职业技术学院新闻发布方）

摘要： 1.选一个自己感兴趣的主题（所有人不能雷同）。 2.用python 编写爬虫程序，从网络上爬取相关主题的数据。 3.对爬了的数据进行文本分析，生成词云。 4.对文本分析结果进行解释说明。 5.写一篇完整的博客，描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。 6.最后提交爬取的全部数据、阅读全文

posted @ 2018-04-28 17:19 210潘光辉阅读(422) 评论(0) 推荐(0) 编辑

熟悉常用的HDFS操作

摘要：一、Hadoop提供的Shell命令完成相同任务： 2 2在本地查看文件位置（ls） 3在本地显示文件内容 4使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。 5查看hdfs中的文件(-ls) 6显示hdfs中该的文件内容 7删除本地的txt文件并查看目录 8从阅读全文

posted @ 2018-04-26 22:05 210潘光辉阅读(222) 评论(0) 推荐(0) 编辑

数据结构化与保存

摘要： 1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news def getNewDetail(newsUrl): news = {} res = requests.get(newsUrl) res.encoding = 'utf-8' soup = 阅读全文

posted @ 2018-04-18 18:49 210潘光辉阅读(130) 评论(0) 推荐(0) 编辑

学会使用正则表达式

摘要： 3.用正则表达式进行英文分词。re.split('',news) 4 使用正则表达式取得新闻编号 5. 生成点击次数的Request URL 6. 获取点击次数 7. 将456步骤定义成一个函数 def getClickCount(newsUrl): 8. 将获取新闻详情的代码定义成一个函数 def 阅读全文

posted @ 2018-04-11 18:51 210潘光辉阅读(188) 评论(0) 推荐(0) 编辑

网络爬虫基础练习

摘要： 1.利用requests.get(url)获取网页页面的html文件 import requests newsurl='http://news.gzcc.cn/html/xiaoyuanxinwen/' res = requests.get(newsurl) #返回response对象 res.en 阅读全文

posted @ 2018-03-30 20:17 210潘光辉阅读(118) 评论(0) 推荐(0) 编辑

综合练习：词频统计

摘要：综合练习词频统计预处理下载一首英文的歌词或文章将所有,.？！’:等分隔符全部替换为空格 sep=''',.?!'":''' for a in sep: news = news.replace(a,' ') print(news) 将所有大写转换为小写 sep=''',.?'":''' for 阅读全文

posted @ 2018-03-28 22:00 210潘光辉阅读(125) 评论(0) 推荐(0) 编辑

组合数据类型综合练习

摘要：字符串联系：结果：列表：结果：元组：结果：字典：结果：集合：结果：阅读全文

posted @ 2018-03-22 19:49 210潘光辉阅读(161) 评论(0) 推荐(0) 编辑

导航

2018年5月25日

2018年5月16日

2018年5月9日

2018年4月28日

2018年4月26日

2018年4月18日

2018年4月11日

2018年3月30日

2018年3月28日

2018年3月22日