小生艺术大数据攻略

2018年7月24日

hive 学习系列五(hive 和elasticsearch 的交互,很详细哦,我又来吹liubi了)

摘要: hive 操作elasticsearch 一,从hive 表格向elasticsearch 导入数据 1,首先,创建elasticsearch 索引,索引如下 2,查看elasticsearch版本,下载相应的elasticsearch hive hadoop jar 包 可以用如下命令查看elas 阅读全文

posted @ 2018-07-24 19:37 小生艺术 阅读(6659) 评论(0) 推荐(0) 编辑

hive 学习系列四(用户自定义函数)

摘要: 如果入参是简单的数据类型,直接继承UDF,实现一个或者多个evaluate 方法。 具体流程如下: 1,实现大写字符转换成小写字符的UDF 2,打包成jar 包。 建立maven 项目,使用maven 打包。 这里打包成的jar 包是,hiveudf 1.0.0.jar 3,上传到hdfs 路径上。 阅读全文

posted @ 2018-07-24 19:35 小生艺术 阅读(2001) 评论(0) 推荐(0) 编辑

hive 学习系列三(表格的创建create-table)

摘要: 表格创建: 语法 说明 上述的建表语法,有些语法笔者不是很懂,希望各位不吝赐教。 常见例子: 例子一 例子二 struct 使用 以下是truncate 用来进行表格的清空 一个有用的数据清空工具 删除表格 修改表 重命名表 改变表格属性 改变表格评论 对表格进行分桶 添加分区 重命名分区 删除分区 阅读全文

posted @ 2018-07-24 19:33 小生艺术 阅读(7013) 评论(0) 推荐(0) 编辑

hive 学习系列二(数据库的创建删除修改) 拿走,不谢。

摘要: database 相当于一个目录或者命名空间,用来更好地进行表的管理 在hdfs 的目录位置大致如下: 创建语法: 例子: 删除语法 注意,默认drop table 时候是restrict 的,即数据库里面存在表格的时候,如果删除,会报错。 需要强制删除,请加上cascade 修改 语法: data 阅读全文

posted @ 2018-07-24 19:32 小生艺术 阅读(2446) 评论(0) 推荐(0) 编辑

hive 学习系列一(数据类型的定义)

摘要: 数字类型(Numeric Types) 整型 TINYINT(取值范围: 128 127) SMALLINT(取值范围: 32,768 to 32,767) INT/INTEGER(取值范围: 2,147,483,648 to 2,147,483,647) BIGINT(取值范围: 9,223,37 阅读全文

posted @ 2018-07-24 19:31 小生艺术 阅读(1111) 评论(0) 推荐(0) 编辑

elasticsearch 5.x 系列之二 线程池的设置

摘要: 1,概述 每个Elasticsearch节点内部都维护着多个线程池,如index、search、get、bulk等,用户可以修改线程池的类型和大小,以及其他的比如reflesh, flush,warmer 等, 我们一般需要关注的只是: index,search,get,bulk 就ok了,其他的可 阅读全文

posted @ 2018-07-24 19:28 小生艺术 阅读(2375) 评论(0) 推荐(0) 编辑

elasticsearch 5.x 系列之一 开始安装啦

摘要: 以下是镇楼用的,各路退让,我要吹liubi 了 java // // _oo0oo_ // o8888888o // 88" . "88 // (| _ |) // 0\ = /0 // ___/` '\___ // .' \\| |// '. // / \\||| : |||// \ // / _ 阅读全文

posted @ 2018-07-24 19:28 小生艺术 阅读(280) 评论(0) 推荐(0) 编辑

elasticsearch 5.x 系列之七 基于索引别名的零停机升级服务

摘要: 一,写在前面的话,elasticsearch 建立索引时的Mapping 设置 建议你在设计索引的初期,就把索引的各个字段设计好,因为,elasticsearch 的各个字段,定义好类型后,就无法进行修改了。 另外需要注意的点有如下 注意1:不要在一个索引中定义多个type。 6.X版本已经不支持, 阅读全文

posted @ 2018-07-24 19:20 小生艺术 阅读(692) 评论(0) 推荐(0) 编辑

导航