l_orz

摘要： 1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 将英语长篇小说的文本文件下载并放于虚拟机 /home/hadoop/zhen 目录下： 启动hadoop： 上传到hdfs/data文件中： 启动Hive 在hive数据库创建表 zhen： 导入文本zhe 阅读全文

摘要： 启动hadoop Hdfs上创建文件夹 创建的文件夹是datainput 上传文件至hdfs 启动Hive 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计，结果放在表word_count里 查看统计结果 阅读全文

摘要： 用Python编写WordCount程序任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔 首先先创建文件 然后编写两个函数 先找到Streaming的Jar包 配置默认环境 阅读全文

摘要： 1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据： 学生表（Student）（不包括最后一列） 学号（S_No） 姓名（S_Name） 性别（S_Sex） 年龄（S_Age） 课程（course） 2015001 Zhangsan male 23 2015003 阅读全文

摘要： 背景图 字体颜色图 词云图 阅读全文

摘要： 一、Hadoop提供的Shell命令完成相同任务：1.在本地Linux文件系统的“ / home / hadoop /”目录下创建一个文件txt，里面可以随意输入一些单词.2.在本地查看文件位置（ls）3.在本地显示文件内容 cd / home / hadoop / touch test.txt c 阅读全文

摘要： 1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-->列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) 5. 用pandas提供的函数和方 阅读全文

摘要： 1. 用正则表达式判定邮箱是否输入正确。 2. 用正则表达式识别出全部电话号码。 3. 用正则表达式进行英文分词。re.split('',news) 4. 使用正则表达式取得新闻编号。 5. 生成点击次数的Request URL 6. 获取点击次数 7. 将456步骤定义成一个函数 def getC 阅读全文

摘要： sep=''',.?!":''' exclude={'the','and','of','to'} for c in sep: news=news.replace(c,' ') wordList=news.lower().split() wordDict={} wordSet=set(wordList)-exclude for w in wordSet: wordDict[w... 阅读全文

摘要： 列表是用[]括起来，元组是用()括起来的，字典集合都是用{}括起来 集合就是我们数学学的集合，没有什么特殊的定义。集合最好的应用是去重。集合没有特殊的表示方法，而是通过一个set函数转换成集合 集合与列表和元组不同，集合是无序的，也不能通过索引进行访问。此外，集合中的元素不能重复 阅读全文