摘要：
大数据分析 本次作业是在期中大作业的基础上利用hadoop和hive技术进行大数据分析 准备数据（下图为SCV截图）： 1.对CSV文件进行预处理生成无标题文本文件，将爬虫大作业产生的csv文件上传到HDFS 首先，我们需要在本地中创建一个/usr/local/bigdatacase/dataset 阅读全文
摘要：
1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS: （1）功能： NameNode：负责管理文件系统的 namespace 以及客户端对文件的访问； DataNode：用于管理它所在节点上的存储； FailoverController：故障切换控 阅读全文
摘要：
利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录（hadoop用户） 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名称为input的目录 删除HDFS根目录中的“input 阅读全文
摘要：
一、Hadoop平台的起源 1.hadoop是什么 Hadoop： 适合大数据的分布式存储和计算平台 Hadoop不是指具体一个框架或者组件，它是Apache软件基金会下用Java语言开发的一个开源分布式计算平台。实现在大量计算机组成的集群中对海量 据进行分布式计算。适合大数据的分布式存储和计算平台 阅读全文
摘要：
一.把爬取的内容保存取MySQL数据库 一.把爬取的内容保存取MySQL数据库 import pandas as pd import pymysql from sqlalchemy import create_engine conInfo = "mysql+pymysql://user:passwd 阅读全文
摘要：
1.从新闻url获取新闻详情： 字典,anews 2.从列表页的url获取新闻url：列表append(字典) alist 3.生成所页列表页的url并获取全部新闻 ：列表extend(列表) allnews *每个同学爬学号尾数开始的10个列表页 .4.设置合理的爬取间隔 allnews=[] f 阅读全文
摘要：
给定一篇新闻的链接newsUrl，获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击： newsUrl newsId(使用正则表达式re) clickUrl(str.format(newsId)) requests.get(clickUrl) newC 阅读全文
摘要：
爬虫，是按照一定的规则，自动地抓取万维网信息的程序或者脚本，实质就是通过程序自动去获取 Web 页面上想要获取的数据，即自动抓取数据。 浏览器的所有结果都是由代码组成，爬虫就是为了获取这些内容，通过过滤、分析代码，从中获取我们想要的数据。 2. 理解爬虫开发过程 1).简要说明浏览器工作原理； 网络 阅读全文
摘要：
1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import jieba ljieba.lcut(text) 4. 更新词库，加入所分析对象的专业词汇。 jieba.add_word('天罡北斗阵') #逐个添加 阅读全文
摘要：
1.列表，元组，字典，集合分别如何增删改查及遍历。 答： （1）列表的增删改查： 增：使用append()方法在列表的末尾增加新的元素 删：使用del语句来删除列表的元素 改：通过下标索引找到值然后直接修改 查：访问的方式可以是通过下标索引，也可以是以方括号的形式截取字符 （2）元组： 增：可以通过 阅读全文