会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
天生自然
Powered by
博客园
博客园
|
首页
|
新随笔
|
联系
|
订阅
|
管理
2020年1月8日
吴裕雄--天生自然HADOOP操作实验学习笔记:hbase微博案例
摘要: 实验目的 熟悉hbase表格设计的方法 熟悉hbase的javaAPI 通过API理解掌握hbase的数据的逻辑视图 了解MVC的服务端设计方式 实验原理 上次我们已经初步设计了学生选课案例的,具体功能还不完善,但是实现方式都是在已经设计好的表格之上,调用hbase已有的API,本次我们将会实现一个
阅读全文
posted @ 2020-01-08 23:31 吴裕雄
阅读(341)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP操作实验学习笔记:hbase学生选课案例
摘要: 实验目的 复习hbase的shell操作和javaAPI操作 了解javaWeb项目的MVC设计 学会dao(数据库访问对象)和service层的代码编写规范 学会设计hbase表格 实验原理 前面我们已经了解hbase的shell操作、javaAPI操作,并且能够使用hive操作hbase表格(实
阅读全文
posted @ 2020-01-08 22:48 吴裕雄
阅读(771)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP操作实验学习笔记:hbase的javaAPI应用
摘要: 实验目的 进一步了解hbase的操作 熟悉使用IDEA进行java开发 熟悉hbase的javaAPI 实验原理 前面已经了解通过hbase的shell操作hbase,确实比较难以使用,另外通过hive也可以操作hbase,今天我们学习通过javaAPI操作hbase。 1.创建连接 我们以前在hb
阅读全文
posted @ 2020-01-08 22:26 吴裕雄
阅读(306)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP操作实验学习笔记:使用hive操作hbase
摘要: 实验目的 熟悉hive和hbase的操作 熟悉hadoop、hbase、hive、zookeeper的关系 熟练大数据环境的搭建 学会分析日志排除问题 实验原理 1.hive整合hbase原理 前面大家已经了解了Hive和Hbase,Hive是一个mapreduce的客户端,把sql语句转化为map
阅读全文
posted @ 2020-01-08 22:11 吴裕雄
阅读(348)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然云计算安全策略:云计算安全
摘要: 云计算安全 云计算是继计算机、互联网出现后信息领域又一次改革,云计算的应用使各个企业能够对先进信息技术进行更好更快的利用,能够降低企业前期的运营成本,将企业的可获利润最大化。但是云计算在给各行各业带来福利时,云计算安全事件也时有发生,由云计算问题引发的计算机网络安全信任危机也愈演愈烈。如2011年3
阅读全文
posted @ 2020-01-08 22:01 吴裕雄
阅读(204)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP操作实验学习笔记:hbase的shell应用v2.0
摘要: HRegion 当表的大小超过设置值的时候,HBase会自动地将表划分为不同的区域,每个区域包含所有行的一个子集。对用户来说,每个表是一堆数据的集合,靠主键来区分。从物理上来说,一张表被拆分成了多块,每一块就是一个HRegion。我们用表名+开始/结束主键来区分每一个HRegion,一个HRegio
阅读全文
posted @ 2020-01-08 21:55 吴裕雄
阅读(170)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP操作实验学习笔记:hive DDL
摘要: 实验目的 了解hive DDL的基本格式 了解hive和hdfs的关系 学习hive在hdfs中的保存方式 学习一些典型常用的hiveDDL 实验原理 有关hive的安装和原理我们已经了解,这次实验我们通过使用hive进行简单的测试进一步了解hive。hive DDL的意思是Hive Data De
阅读全文
posted @ 2020-01-08 21:41 吴裕雄
阅读(280)
评论(0)
推荐(0)
编辑
论 善
摘要:
阅读全文
posted @ 2020-01-08 19:50 吴裕雄
阅读(347)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP操作实验学习笔记:mapreduce和yarn命令
摘要: 实验目的 了解集群运行的原理 学习mapred和yarn脚本原理 学习使用Hadoop命令提交mapreduce程序 学习对mapred、yarn脚本进行基本操作 实验原理 1.hadoop的shell脚本 上一节介绍了hadoop脚本的使用,这一节介绍mapreduce和yarn的shell命令,
阅读全文
posted @ 2020-01-08 19:44 吴裕雄
阅读(359)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP操作实验学习笔记:hdfs简单的shell命令
摘要: 实验目的 了解bin/hadoop脚本的原理 学会使用fs shell脚本进行基本操作 学习使用hadoop shell进行简单的统计计算 实验原理 1.hadoop的shell脚本 当hadoop集群正常工作后,我们就可以使用hadoop进行我们需要的操作。我们的操作主要分为两种,第一种是使用sh
阅读全文
posted @ 2020-01-08 19:28 吴裕雄
阅读(533)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP操作实验学习笔记:mapreduce代码编程
摘要: 实验目的 深入了解mapreduce的底层 了解IDEA的使用 学会通过本地和集群环境提交程序 实验原理 1.回忆mapreduce模型 前面进行了很多基础工作,本次实验是使用mapreduce的API进行简单的大数据业务处理。 MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行
阅读全文
posted @ 2020-01-08 19:04 吴裕雄
阅读(244)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP操作实验学习笔记:分布式及RPC通信简介
摘要: 实验目的 掌握GOF设计模式的代理模式 了解掌握socket编程、java反射、动态代理 了解NIO、多线程 掌握hadoop的RPC框架使用API 实验原理 1.什么是RPC 在hadoop出现以前,我们写的程序一般都是单机版本,只能在一台机器上处理,而一台机器的处理能力总是有限的,hadoop让
阅读全文
posted @ 2020-01-08 18:35 吴裕雄
阅读(169)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP操作实验学习笔记:分布式资源调度系统yarn的安装
摘要: 实验目的 复习配置hadoop初始化环境 复习配置hdfs的配置文件 学会配置hadoop的配置文件 了解yarn的原理 实验原理 1.yarn是什么 前面安装好了hdfs文件系统,我们可以根据需求进行数据的读写操作。hdfs解决了大数据的存储,接下来的问题就是根据实际的业务需求进行计算。目前大数据
阅读全文
posted @ 2020-01-08 00:53 吴裕雄
阅读(267)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP操作实验学习笔记:tf-idf算法
摘要: 实验目的 通过实验了解tf-idf算法原理 通过实验了解mapreduce的更多组件 学会自定义分区,读写缓存文件 了解mapreduce程序的设计方法 实验原理 1.TF-IDF简介 TF-IDF(term frequency–inverse document frequency)是一种用于资讯检
阅读全文
posted @ 2020-01-08 00:43 吴裕雄
阅读(310)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP操作实验学习笔记:hive安装
摘要: 实验目的 了解hive的原理和安装方式 学习使用MySQL数据库 使用hive进行基本操作 实验原理 1.Hive Hive是一个数据仓库技术,包括解释器、编译器、优化器,一次将一个sql语句装化为mapreduce代码,然后对代码进行编译,最后优化执行。实质是一个客户端程序,类似jsp和servl
阅读全文
posted @ 2020-01-08 00:25 吴裕雄
阅读(228)
评论(0)
推荐(0)
编辑
吴裕雄--天生自然HADOOP操作实验学习笔记:hdfs分布式文件系统安装
摘要: 实验目的 复习安装jdk 学习免密码登录 掌握安装配置hdfs集群的方法 掌握hdfs集群的简单使用和检查其工作状态 实验原理 1.hdfs是什么 hadoop安装的第一部分是安装hdfs,hdfs是一个磁盘文件系统,提供的功能类似于本地文件系统一样,可以通过命令进行增删改查文件,不同的是,hdfs
阅读全文
posted @ 2020-01-08 00:09 吴裕雄
阅读(218)
评论(0)
推荐(0)
编辑