摘要： 1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 （1）启动hadoop (2)查看hdfs （3）启动hive （4）进入hive,并查看所有的表 (5)创建表word,,写hiveQL命令统计 （6）运行结果 2.用Hive对爬虫大作业产生的csv文件 阅读全文

摘要： 1. 用Python编写WordCount程序并提交任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔 3.本机上测试运行代码 4.放到HDFS上运行 5.查看运行结果 2. 阅读全文

摘要： 一、Hadoop提供的Shell命令完成相同任务： 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词.在本地查看文件位置（ls）在本地显示文件内容 使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。 查看h 阅读全文

摘要： 爬取代码： 生成词云： 阅读全文

摘要： 1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-->列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) def getNewsList(p 阅读全文

摘要： 1. 用正则表达式判定邮箱是否输入正确。 2. 用正则表达式识别出全部电话号码。 3. 用正则表达式进行英文分词。re.split('',news) 4. 使用正则表达式取得新闻编号 5. 生成点击次数的Request URL 6. 获取点击次数。 7. 将456步骤定义成一个函数 def getC 阅读全文

摘要： import requests from bs4 import BeautifulSoup from datetime import datetime url="http://news.gzcc.cn/html/xiaoyuanxinwen/" res=requests.get(url) res.encoding="utf-8" soup=BeautifulSoup(res.text,"ht... 阅读全文

摘要： 1.取出h1标签的文本 2.取出a标签的链接 3.取出所有li标签的所有内容 4.取出一条新闻的标题、链接、发布时间、来源 阅读全文

摘要： song = ''' just colse your eyes，the sun is going down you‘ll be all right，no one can hurt you now come morning light ，you and i ’ll be safe and sound 阅读全文

摘要： 字符串： 列表： 元组： 字典： 集合： 总结列表，元组，字典，集合的联系与区别。 （1）列表是任意对象的序列。列表用方括号表示。 （2）将一组值打包到一个对象中，称为元组。元组用圆括号表示。元组和列表的大部分操作相同。但是，列表是不固定的，可以随时插入，删除；而元组一旦确认就不能够再更改。所以，系 阅读全文