2018年1月15日
yarn介绍
摘要： YARN是资源管理系统，理论上支持多种资源，目前支持CPU和内存两种资源 YARN产生背景 直接源于MRv1在几个方面的缺陷 扩展性受限 单点故障 难以支持MR之外的计算 多计算框架各自为战，数据共享困难 MR：离线计算框架 Storm：实时计算框架 Spark：内存计算框架 YARN设计目标 通用 阅读全文
posted @ 2018-01-15 10:46 啸傲风月 阅读(378) 评论(0) 推荐(0) 编辑
Zookeeper介绍
摘要： Zookeeper是什么 Zookeeper是什么 是一个针对大型分布式系统的可靠协调系统； 提供的功能包括：配置维护、名字服务、分布式同步、组服务等； 目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户； Zookeeper已经成为Hadoop生态系统中的基础 阅读全文
posted @ 2018-01-15 10:44 啸傲风月 阅读(273) 评论(0) 推荐(0) 编辑
2018年1月13日
Hibernate中的持久化类
摘要： 1.编写规则 2.持久化对象的唯一标识 OID 结论: 对象的OID和数据库的表的主键对应。为保证OID的唯一性，应该让Hibernate来为OID赋值 3.区分自然主键和代理主键 自然主键: 在业务中,某个属性符合主键的三个要求.那么该属性可以作为主键列. 代理主键: 在业务中,不存符合以上3个条 阅读全文
posted @ 2018-01-13 20:43 啸傲风月 阅读(185) 评论(0) 推荐(0) 编辑
Hibernate 的核心配置文件
摘要： 核心配置文件 阅读全文
posted @ 2018-01-13 20:36 啸傲风月 阅读(233) 评论(0) 推荐(0) 编辑
Hibernate Session操作
摘要： 1.增加 2.查询 延迟加载： get方法：调用立刻发出sql查询 load方法：调用不发出sql，当我们需要使用该对象时才查询 Query： 当查询结果只有一个的时候可以使用uniqueResult()方法。 分页： 3.修改表-需要创建事务 4.删除 5.查询所有对象（HQL） HQL:Hibe 阅读全文
posted @ 2018-01-13 18:45 啸傲风月 阅读(162) 评论(0) 推荐(0) 编辑
hibernate在maven中自动生成
摘要： 1.构建数据库连接 2.新建maven项目，利用工具生成hibernate相应的类和xml文件 新建pojo包 右击项目 点击Configure Facets 选择hibernate 选择包 选择驱动 选择jar包 3.数据库反向生成类和xml文件 pom.xml添加mysql的驱动包 4.使用ju 阅读全文
posted @ 2018-01-13 17:57 啸傲风月 阅读(245) 评论(0) 推荐(0) 编辑
2018年1月11日
sqoop的安装和使用
摘要： 1.下载sqoop 下载地址：http://ftp.wayne.edu/apache/sqoop/1.4.6/ 2.上传，解压 3.配置环境变量 vi /etc/profile 使环境变量生效： source /etc/profile 4.配置文件 4.1 sqoop-env.sh 先将模板复制或重 阅读全文
posted @ 2018-01-11 18:36 啸傲风月 阅读(324) 评论(0) 推荐(0) 编辑
hive 自定义函数（udf）
摘要： 1.解压hive的压缩包 2.新建java项目，将hive压缩包里面lib文件夹的jar包导入新建的项目 3.编写java程序 注意：一定要继承UDF类 4.将项目作为jar包导出，注意将jar包也一并导出 5.将jar包上传到Linux 6.导入jar包 命令：add jar /root/tolo 阅读全文
posted @ 2018-01-11 18:11 啸傲风月 阅读(208) 评论(0) 推荐(0) 编辑
2018年1月10日
Hbash语句
摘要： 下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下： 名称 命令表达式 创建表 create '表名称', '列名称1','列名称2','列名称N' 添加记录 put '表名称', '行名称', '列名称:', '值' 查看记录 get '表名称 阅读全文
posted @ 2018-01-10 10:03 啸傲风月 阅读(420) 评论(0) 推荐(0) 编辑
2018年1月9日
Hive sql
摘要： 1.DDL操作 1.1 建表 •CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT EXIST 选项来忽略这个异常 •EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION） •LIKE 阅读全文
posted @ 2018-01-09 19:02 啸傲风月 阅读(276) 评论(0) 推荐(0) 编辑