黄佳芸

摘要： Hadoop综合大作业 要求： 1.将爬虫大作业产生的csv文件上传到HDFS 2.对CSV文件进行预处理生成无标题文本文件 3.把hdfs中的文本文件最终导入到数据仓库Hive中 创建数据库 创建表 4.在Hive中查看并分析数据 查看图书评分大于9.0前20本书的详情，可以看出这些都是大家很熟悉 阅读全文

摘要： 1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS,MapReduce功能：分布式文件系统HDFS主要用于大规模数据的分布式存储，而MapReduce则构建在分布式文件系统上，对于存储在分布式文件系统的数据进行分布式计算。 HDFS的工作原理：Ha 阅读全文

摘要： 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录（hadoop用户） 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名称为input的目录 删除HDFS根目录中的“input 阅读全文

摘要： 1. 简述Hadoop平台的起源、发展历史与应用现状。 列举发展过程中重要的事件、主要版本、主要厂商； 国内外Hadoop应用的典型案例。 （1）Hadoop起源 Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的 阅读全文

摘要： 一、爬取的对象 豆瓣图书的书籍，总共获取1万8千条数据。 二、保存数据为excel格式。 三、数据分析 1.通过在excel进行数据处理，筛选出20部评分高，评论多的作品，如下图所示。 于是，推荐阅读的书籍为： 闲暇时分，可通过了解作品详情，若感兴趣，可以阅读该作品，省去筛选作品的时间。 2.有部分 阅读全文

摘要： 1.从新闻url获取新闻详情： 字典,anews 2.从列表页的url获取新闻url：列表append(字典) alist 3.生成所页列表页的url并获取全部新闻 ：列表extend(列表) allnews *每个同学爬学号尾数开始的10个列表页 4.设置合理的爬取间隔 5.用pandas做简单的 阅读全文

摘要： 给定一篇新闻的链接newsUrl，获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击： newsUrl newsId(使用正则表达式re) clickUrl(str.format(newsId)) requests.get(clickUrl) newC 阅读全文

摘要： 1. 简单说明爬虫原理 （1）模拟计算机对服务器发起Request请求； （2）接收服务器的Response内容并解析、提取所需的信息。 2. 理解爬虫开发过程 1).简要说明浏览器工作原理； 浏览器工作原理的实质就是实现http协议的通讯，具体过程如下： a. 连接 服务器通过一个ServerSo 阅读全文

摘要： 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import jieba ljieba.lcut(text) 4. 更新词库，加入所分析对象的专业词汇。 jieba.add_word('天罡北斗阵') #逐个添加 阅读全文

摘要： 1.列表，元组，字典，集合分别如何增删改查及遍历。 （1）列表之增：append(增补)直接把新数据放到列表的最后一项。 insert(插入)比append更灵活，可以插到任何 extend可以将一个集合中的元素一一添加到列表中 （2）列表之删：remove通过.remove（）删除指定内容，不能直 阅读全文