摘要：
作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 本次选取的是爬取歌曲《Five Hours》的歌评数据 1.将爬虫大作业产生的csv文件上传到HDFS 2.对CSV文件进行预处理生成无标题文本文件 3.把hdfs 阅读全文
摘要：
作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3319 1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS:首先，hdfs是一个文件系统，用于存储文件，通过统一的命 阅读全文
摘要：
实验前准备 以”./bin/start-dfs.sh”开头的Shell命令方式 平台开启 1.目录操作 在HDFS中为hadoop用户创建一个用户目录（hadoop用户） 在HDFS的根目录下创建一个名称为input的目录 删除HDFS根目录中的“input”目录 2.文件操作 使用vim编辑器，在 阅读全文
摘要：
列举发展过程中重要的事件、主要版本、主要厂商； 1.重要的事件： HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 03年开始谷歌陆续发表的三 阅读全文
摘要：
作业要求来自于https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075 爬虫综合大作业 1. 数据爬取 我们本次爬取的对象是一首名为《five hours》的经典电音流行歌曲，Five Hours是Erick Orrosquieta于2 阅读全文
摘要：
一.要求 作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2941 1.从新闻url获取新闻详情： 字典,anews 2.从列表页的url获取新闻url：列表append(字典) alist 3.生成所页列表页的url并获 阅读全文
摘要：
一.要求：给定一篇新闻的链接newsUrl，获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击： newsUrl newsId(使用正则表达式re) clickUrl(str.format(newsId)) requests.get(clickUrl) 阅读全文
摘要：
作业要求：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2851 1. 简单说明爬虫原理 简单来说互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、 阅读全文
摘要：
这个作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773。 1. 下载一长篇中文小说。 本次实践选择长篇小说《宠物天王》 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 4. 更新词库，加入 阅读全文
摘要：
作业的要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2696 1.列表，元组，字典，集合分别如何增删改查及遍历。 列表： 元组（不能增删改，只能查找）： 字典： 集合: 2.总结列表，元组，字典，集合的联系与区别。 3.词频 阅读全文