2019年6月
大数据应用期末总评
摘要： 作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 1.将爬虫大作业产生的csv文件 2.对CSV文件进行预处理生成无标题文本文件 3.把上传到hdfs中的文本文件最终导入到数据仓库Hive中 4.在Hive中查看并分析 阅读全文
posted @ 2019-06-20 21:05 L杉 阅读(116) 评论(0) 推荐(0) 编辑
分布式文件系统HDFS 练习
摘要： 本次作业要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 利用Shell命令与HDFS进行交互 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 dfs命令出现以下警告 阅读全文
posted @ 2019-06-04 18:58 L杉 阅读(74) 评论(0) 推荐(0) 编辑
2019年5月
爬虫综合大作业
摘要： 作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 爬虫综合大作业 参考： 32个Python爬虫项目 都是谁在反对996？ Python和Java薪资最高，C#最低！ 给《流浪地球》评1星的都是什么心态？ 《都挺好》弹 阅读全文
posted @ 2019-05-09 11:35 L杉 阅读(132) 评论(0) 推荐(0) 编辑
2019年4月
爬取全部的校园新闻
摘要： 作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 0.从新闻url获取点击次数，并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) requests.ge 阅读全文
posted @ 2019-04-15 20:57 L杉 阅读(68) 评论(0) 推荐(0) 编辑
2019年3月
理解爬虫原理
摘要： 恢复内容开始 作业开源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881 1. 简单说明爬虫原理 网络爬虫就是自动抓取网页信息的代码，可以简单理解成代替繁琐的复制粘贴操作的手段。 2. 理解爬虫开发过程 1).简要说明浏览器工作 阅读全文
posted @ 2019-03-31 14:51 L杉 阅读(110) 评论(0) 推荐(0) 编辑
中文词频统计与词云生成
摘要： 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import ji 阅读全文
posted @ 2019-03-25 00:29 L杉 阅读(134) 评论(0) 推荐(0) 编辑
复合数据类型，英文词频统计
摘要： 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753 1.列表，元组，字典，集合分别如何增删改查及遍历。 2.总结列表，元组，字典，集合的联系与区别。参考以下几个方面： 括号 有序无序 可变不可变 重复不可重复 存储与查找 阅读全文
posted @ 2019-03-22 17:11 L杉 阅读(166) 评论(0) 推荐(0) 编辑
字符串操作、文件操作，英文词频统计预处理
摘要： 作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2684 1.字符串操作： 解析身份证号：生日、性别、出生地等。 ID=input('请输入十八位身份证号码: ') if len(ID)==18: print("你的身份证号码 阅读全文
posted @ 2019-03-11 16:19 L杉 阅读(108) 评论(0) 推荐(0) 编辑
了解大数据的特点、来源与数据呈现方式
摘要： 1.这些分析所采用数据的来源是什么？ 文本数据：我们周围有多少文本信息的存在，电子邮件、短信、微博、社交媒体网站的帖子、即时通信、实时会议以及可以转换成文本的录音信息。春节的各类数据通过各种文本数据获得，如;迁徙数据，城市人口数据等，都是通过各种微博、社交媒体网站获取。 时间数据与位置数据：随着全球 阅读全文
posted @ 2019-03-03 15:55 L杉 阅读(211) 评论(0) 推荐(0) 编辑
2018年10月
结对项目-四则运算 “软件”之升级版
摘要： 作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2213 gitHub：https://github.com/lincanbin5201314/ls 同伴:201606120020沈敏 博客园：http://www.cnblo 阅读全文
posted @ 2018-10-24 21:18 L杉 阅读(251) 评论(5) 推荐(0) 编辑
下一页