作业来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 Hadoop综合大作业 要求: 1.将爬虫大作业产生的csv文件上传到HDFS 把数据保存在dataset目录下 在本地查看数据集 2.对CSV文件进行预处理生成无标 Read More
posted @ 2019-06-20 18:07 张倩倩 Views(163) Comments(0) Diggs(0) Edit
作业来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 作业要求: 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目 Read More
posted @ 2019-06-04 21:36 张倩倩 Views(109) Comments(0) Diggs(0) Edit
作业来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 作业要求: 1.安装Linux,MySql Linux MySql 更新软件源 安装MySQL 启动和关闭SQL服务器 确认是否启动成功 2.windows 与 虚拟 Read More
posted @ 2019-05-16 02:06 张倩倩 Views(127) Comments(0) Diggs(0) Edit
作业来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 作业要求: 可以用pandas读出之前保存的数据: newsdf = pd.read_csv(r'F:\duym\gzccnews.csv') 运行代码: 运行截图: Read More
posted @ 2019-05-08 13:58 张倩倩 Views(502) Comments(0) Diggs(0) Edit
作业来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 0.从新闻url获取点击次数,并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) requests.g Read More
posted @ 2019-04-15 19:18 张倩倩 Views(185) Comments(0) Diggs(0) Edit
作业来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881 1. 简单说明爬虫原理 1:向服务器发起请求 通过HTTP库向目标站点发起请求,即发送一个Request,请求可以包含额外的headers等信息,等待服务器的响应。 Read More
posted @ 2019-03-29 18:09 张倩倩 Views(209) Comments(0) Diggs(0) Edit
作业来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 作业要求: 1. 下载一长篇中文小说。 我下载的是钱钟书先生写的《围城》,放于wc.txt文件中 2. 从文件读取待分析文本。 txt = open('wc.txt' Read More
posted @ 2019-03-22 18:37 张倩倩 Views(204) Comments(0) Diggs(0) Edit
作业来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753 作业要求: 1.列表,元组,字典,集合分别如何增删改查及遍历。 列表 增 运行结果: 删 运行结果: 改 运行结果: 查 运行结果: 遍历 运行结果: 元组 运行结果 Read More
posted @ 2019-03-21 16:38 张倩倩 Views(157) Comments(0) Diggs(0) Edit
本次作业来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2684 作业要求: 1.字符串操作: 解析身份证号:生日、性别、出生地等。 凯撒密码编码与解码 网址观察与批量生成 1.1 解析身份证号:生日、性别、出生地等 源码: 运 Read More
posted @ 2019-03-08 18:16 张倩倩 Views(155) Comments(0) Diggs(0) Edit
摘要:本次作业来源于https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2639 作业要求: 1.浏览2019春节各种大数据分析报告,例如: 这世间,再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/29 Read More
posted @ 2019-03-01 16:18 张倩倩 Views(1109) Comments(0) Diggs(0) Edit