摘要： 本次作业的要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 Hadoop综合大作业 要求： 1.将爬虫大作业产生的csv文件上传到HDFS 2.对CSV文件进行预处理生成无标题文本文件 3.把hdfs中的文本文件最终导 阅读全文

摘要： 本次作业要求来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3292 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录（h 阅读全文

摘要： 作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3161 一、 1.Hadoop的介绍 Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量 阅读全文

摘要： 作业要求来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075 《我不是药神》是这几年来我所看的电影里感触最大的，甚至成为豆瓣上多年来仅有的六部9.0评分以上的华语电影之一。 影片讲述了神油店老板程勇从一个交不起房租的男性保健品 阅读全文

摘要： 这个作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2941。 1.从新闻url获取新闻详情： 字典,anews 2.从列表页的url获取新闻url：列表append(字典) alist 3.生成所页列表页的url并获 阅读全文

摘要： 作业的要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2894 给定一篇新闻的链接newsUrl，获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击： newsUrl newsI 阅读全文

摘要： 作业要求：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2851 一. 简单说明爬虫原理 1.首先选取一部分精心挑选的种子URL； 2.将这些URL放入待抓取URL队列； 3.从待抓取URL队列中取出待抓取在URL，解析DNS，并且得 阅读全文

摘要： 作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba impor 阅读全文

摘要： 此次作业的要求来自于https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2696 1.列表，元组，字典，集合分别如何增删改查及遍历。 列表: 元组: 字典： 集合: 2.总结列表，元组，字典，集合的联系与区别。参考以下几个方面： 括号 有序 阅读全文

摘要： 作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2646 1.字符串操作： 解析身份证号：生日、性别、出生地等。 运行结果如下： 凯撒密码编码与解码 运行结果如下： 网址观察与批量生成 运行结果如下： 2.英文词频统计预处 阅读全文