摘要：
1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）词频统计。 1.启动hadoop 2.Hdfs上创建文件夹并查看 3.上传英文词频统计文本至hdfs 1、把英文文章的每个单词放到列表里，并统计列表长度； 2、遍历列表，对每个单词出现的次数进行统计，并将结果存储在字典中； 阅读全文
摘要：
2. 用Hadoop提供的HBase Shell命令完成相同任务： 列出HBase所有的表的相关信息；list 在终端打印出学生表的所有记录数据； 向学生表添加课程列族； alter 'Student','NAME'=>'course' 向课程列族添加数学列并登记成绩为85； put 'Studen 阅读全文
摘要：
一、Hadoop提供的Shell命令完成相同任务： 二、 1、向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件； 2、从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名； 4、显示HDFS中指定的文 阅读全文
摘要：
按照作业要求先找到自己感兴趣的网页进行爬取 找到相应位置就进行爬取 找到QQ音乐的搜索歌曲API 此接口获取搜索的歌曲 执行结果 生成词云 阅读全文
摘要：
1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-->列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) import re import 阅读全文
摘要：
1. 用正则表达式判定邮箱是否输入正确。 2. 用正则表达式识别出全部电话号码。 3. 用正则表达式进行英文分词。re.split('',news) 4. 使用正则表达式取得新闻编号 5. 生成点击次数的Request URL 6. 获取点击次数 7. 将456步骤定义成一个函数 def getCl 阅读全文
摘要：
import requests from bs4 import BeautifulSoup from datetime import datetime url="http://news.gzcc.cn/html/xiaoyuanxinwen/" res=requests.get(url) res.encoding="utf-8" soup=BeautifulSoup(res.text,"h... 阅读全文
摘要：
import requests newsurl = 'http://localhost:63342/bd/aaa.html?_ijt=7pd1hi6n7j1ue90de4jivbr31k' res = requests.get(newsurl) # 返回response对象 res.encoding = 'utf-8' print(res.text) from bs4 import Beaut... 阅读全文
摘要：
news = news.lower()newList1 = news.split(" ")dict={}>>> for i in newList1:dict[i]=newList1.count(i) dictList = list(item.items())dictList.sort(key= la 阅读全文
摘要：
list是处理一组有序项目的数据结构，即可以在一个列表中存储一个序列的项目 元祖和列表（list）十分相似，不过元组是不可变的，即不能修改元组 字典类似于你通过联系人名称查找地址和联系人详细情况的地址簿，即，我们把键（名字）和值（详细情况）联系在一起。注意，键必须是唯一的，就像如果有两个人恰巧同名的 阅读全文