会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
林溢漫
博客园
首页
新随笔
联系
管理
订阅
2019年6月11日
大数据应用期末大作业
摘要: 这个作业的要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339。 首先,我是分析B站最火番剧剧迷们的评论,也就是我前面的文章 爬虫大作业分析的数据。下面开始进行HIVE分析。 1.数据导入。因为我是用自己的数据进行分析,不
阅读全文
posted @ 2019-06-11 09:16 林溢漫
阅读(5202)
评论(0)
推荐(0)
2019年6月3日
分布式并行计算MapReduce
摘要: 这个作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3319。 1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS 功能:分布式文件系统,用来存储海量数据。 工作原理
阅读全文
posted @ 2019-06-03 14:19 林溢漫
阅读(2412)
评论(0)
推荐(0)
2019年5月27日
作业:分布式文件系统HDFS 练习
摘要: 这个作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3292。 利用Shell命令与HDFS进行交互 1.目录操作 Hadoop系统安装好后,第一次使用HDFS时,需要首先在HDFS中创建用户目录。本Linux系统采用
阅读全文
posted @ 2019-05-27 15:21 林溢漫
阅读(840)
评论(0)
推荐(0)
2019年5月6日
安装关系型数据库MySQL和大数据处理框架Hadoop
摘要: 这个作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3161 。 1. 简述Hadoop平台的起源、发展历史与应用现状。列举发展过程中重要的事件、主要版本、主要厂商;国内外Hadoop应用的典型案例。 (1)Hadoo
阅读全文
posted @ 2019-05-06 11:40 林溢漫
阅读(1264)
评论(0)
推荐(0)
2019年4月24日
爬虫综合大作业
摘要: 这个作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075 。 B站有很多号称“镇站之宝”的视频,拥有着数量极其恐怖的评论和弹幕。这次我的目的就是爬取B站视频的评论数据,分析某番剧为何会深受大家喜爱。 首先我通过B站
阅读全文
posted @ 2019-04-24 22:41 林溢漫
阅读(1299)
评论(0)
推荐(0)
2019年4月8日
作业:爬取全部的校园新闻
摘要: 这个作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2941。 我爬取的网页是某高校的新闻信息网站:http://news.gzcc.cn/html/2005/xiaoyuanxinwen_0710/4.html。 代
阅读全文
posted @ 2019-04-08 16:04 林溢漫
阅读(359)
评论(0)
推荐(0)
2019年4月1日
作业:获取一篇新闻的全部信息
摘要: 这个作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2894。 我爬取的网页是某高校的新闻信息网站:http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0328/11086.htm
阅读全文
posted @ 2019-04-01 16:12 林溢漫
阅读(252)
评论(0)
推荐(0)
2019年3月26日
作业:理解爬虫原理
摘要: 这个作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2851。 1. 简单说明爬虫原理 请求网站并提取数据的自动化程序。基本流程:发起请求、获取响应内容、解析内容和保存数据。 2. 理解爬虫开发过程 1).简要说明浏览
阅读全文
posted @ 2019-03-26 00:09 林溢漫
阅读(252)
评论(0)
推荐(0)
2019年3月18日
作业:中文词频统计
摘要: 这个作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773。 1. 下载一长篇中文小说。 我下载的是匪我思存的中长篇小说《东宫》。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 4. 更新词
阅读全文
posted @ 2019-03-18 14:31 林溢漫
阅读(310)
评论(0)
推荐(0)
2019年3月11日
作业:复合数据类型
摘要: 这个作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2696。 1.列表,元组,字典,集合分别如何增删改查及遍历。 列表操作如下所示: 元组操作如下所示: 字典操作如下所示: 集合操作如下所示: 2.总结列表,元组,字
阅读全文
posted @ 2019-03-11 17:54 林溢漫
阅读(313)
评论(0)
推荐(0)
下一页
公告