摘要: clone(创建副本) val chars = Array('a','b','c')println(a.apply(2))Int = 3val newchars = chars.clone()结果输出:Array[Char] = Array('a','b','c') ++ (拼接数值) var e 阅读全文
posted @ 2020-09-16 22:21 尧啊尧 阅读(466) 评论(0) 推荐(0) 编辑
摘要: //创建数据表 kb08:命名空间 mobilephone:表名 'huawei/iphone' rowkey base/price:列族 VERSION:版本 create create 'kb08:mobilephone',{NAME=>'base',VERSION=>'0'},{NAME=>' 阅读全文
posted @ 2020-09-05 13:24 尧啊尧 阅读(533) 评论(0) 推荐(0) 编辑
摘要: 1.成本:Nosql数据库(非关系型数据库)简单易部署,基本都是开源软件,不需要使用类似于Oracle数据库那样花费大成本购买使用,相比关系型数据库价格便宜。 2.查询速度:Nosql数据库将数据存于缓存之中,而且不需要经过SQL层的解析,关系型数据库将数据存储在硬盘中,自然查询速度远不及Nosql 阅读全文
posted @ 2020-09-05 13:22 尧啊尧 阅读(243) 评论(0) 推荐(0) 编辑
摘要: # 环境搭建 # 解压省略... # vi hbase-env.sh # export JAVA_HOME=/opt/install/jdk JDK # export HBASE_MANAGES_ZK=false 启用外部zookeeper # vi hbase-site.xml <configur 阅读全文
posted @ 2020-09-05 12:59 尧啊尧 阅读(171) 评论(0) 推荐(0) 编辑
摘要: 一、关系运算: 1. 等值比较: = 2. 等值比较:<=> 3. 不等值比较: <>和!= 4. 小于比较: < 5. 小于等于比较: <= 6. 大于比较: > 7. 大于等于比较: >= 8. 区间比较 9. 空值判断: IS NULL 10. 非空判断: IS NOT NULL 11. LI 阅读全文
posted @ 2020-08-29 14:03 尧啊尧 阅读(165) 评论(0) 推荐(0) 编辑
摘要: nohup hiveserjpsver2 >/dev/null 2>&1 & 将hive转为后台运行 beeline -u jdbc:hive2://192.168.181.166:10000 hive通过beeline连接 创建数据库 create database kb08 创建表(内表) cr 阅读全文
posted @ 2020-08-29 13:56 尧啊尧 阅读(144) 评论(0) 推荐(0) 编辑
摘要: select [all | distinct ] SEL_EXP... from TABLE_NAME where CONDITION having GROUP_EXP... order/sort/cluster/distribute by COL_LIST limit NUM hive limit 阅读全文
posted @ 2020-08-25 20:05 尧啊尧 阅读(131) 评论(0) 推荐(0) 编辑
摘要: ############################################ hadoop ha 安装 ############################### [root@vwmaster hadoop]# cd /opt/bigdata/hadoop/hadoop260/[ro 阅读全文
posted @ 2020-08-23 20:54 尧啊尧 阅读(269) 评论(0) 推荐(0) 编辑
摘要: 一.MapReduce简介 MapReduce是一个分布式运算程序的编程框架,它的核心功能是将用户编写的业务逻辑和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上。引入MapReduce框架后,开发人员可以将绝大部分工作集中在业务逻辑的开发商,而将分布式计算的复杂性交由框 阅读全文
posted @ 2020-08-22 10:25 尧啊尧 阅读(140) 评论(0) 推荐(0) 编辑
摘要: 1.hadoop架构 (1) hdfs => hadoop file system a.将文件拆分存储:hadoop 2.x 1) 每个文件拆分成128兆每个文件篇存储在不同的节点上 2) 比如300兆的文件会被拆分成:128 128 44 b. 缺点 1) 不适合低延时(毫秒以下) 2) 不适合大 阅读全文
posted @ 2020-08-22 09:25 尧啊尧 阅读(103) 评论(0) 推荐(0) 编辑