2017年6月15日
Hive自定义函数
摘要： Hive自定义函数 1.Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。 2.当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。 3.根据用户自定义函数类别 阅读全文
posted @ 2017-06-15 12:20 zhangqi0828 阅读(328) 评论(0) 推荐(0) 编辑
spark编译
摘要： 为什么要对spark进行重新编译? 由于我们所有的环境统一使用CDH的软件版本，并且对应的CDH版本是5.14.0这个版本，所以我们也直接下载使用对应的spark5.14.0版本即可。但是由于spark对应的5.14.0的CDH版本的软件spark的版本还停留在spark1.x，并且CDH版本的sp 阅读全文
posted @ 2017-06-15 11:05 zhangqi0828 阅读(194) 评论(0) 推荐(0) 编辑
Impala的安装和使用
摘要： 通过本地yum源进行安装impala 所有cloudera软件下载地址 http://archive.cloudera.com/cdh5/cdh/5/ http://archive.cloudera.com/cdh5/ 1、 impala的介绍 imala基本介绍 impala是cloudera提供 阅读全文
posted @ 2017-06-15 11:04 zhangqi0828 阅读(3754) 评论(0) 推荐(0) 编辑
2017年6月10日
数据库的读写分离
摘要： 1 Mycat读写分离 数据库读写分离对于大型系统或者访问量很高的互联网应用来说，是必不可少的一个重要功能。对于MySQL来说，标准的读写分离是主从模式，一个写节点Master后面跟着多个读节点，读节点的数量取决于系统的压力，通常是1-3个读节点的配置 Mycat读写分离和自动切换机制，需要mysq 阅读全文
posted @ 2017-06-10 16:39 zhangqi0828 阅读(404) 评论(0) 推荐(0) 编辑
2017年3月28日
linux中hadoop组件启动日志存放问题
摘要： 如果是nohup xxxx &的话会在当前目录下生成一个nohup文件存放当前出现所有的日志,&表示后台启动； 当然你也可以将日志存放在 /dev/null表示当前日志存放的位置，这个目录下的所有日志相当于黑洞都是找不到的 2 &1其中2表示错误日志，1表示正常日志，2 &1意思是错误日志也保存正常 阅读全文
posted @ 2017-03-28 16:54 zhangqi0828 阅读(263) 评论(0) 推荐(0) 编辑
2017年3月27日
spark在collect收集数据的时候出现outOfMemoryError:java heap space
摘要： spark的collect是action算子，所有最后会以数组的形式返回给driver端，当数据太大的时候就会出现堆内存溢出。OutofMemoryError:java heap space。 在spark中默认的数据的存储是1G的大小，spark.default.memory(default 1G 阅读全文
posted @ 2017-03-27 00:10 zhangqi0828 阅读(993) 评论(0) 推荐(0) 编辑
2017年3月25日
查看hadoop压缩方式
摘要： bin/hadoop checknative 来查看我们编译之后的hadoop支持的各种压缩，如果出现openssl为false，那么就在线安装一下依赖包 阅读全文
posted @ 2017-03-25 03:01 zhangqi0828 阅读(630) 评论(0) 推荐(0) 编辑
2017年3月21日
Kafka命令行操作
摘要： Kafka命令行操作 1）查看当前服务器中的所有topic 2）创建topic 选项说明： --topic 定义topic名 --replication-factor 定义副本数 --partitions 定义分区数 3） 删除topic 需要server.properties中设置delete.t 阅读全文
posted @ 2017-03-21 00:27 zhangqi0828 阅读(165) 评论(0) 推荐(0) 编辑
2017年3月2日
kafk的数据消费快速的原因
摘要： kafka为什么消费数据很快呢？ 1.数据的顺序读写 2.页缓存（操作系统层面） https://blog.csdn.net/gdj0001/article/details/80136364 阅读全文
posted @ 2017-03-02 18:18 zhangqi0828 阅读(190) 评论(0) 推荐(0) 编辑
kafka的消息组件
摘要： kafka的组件的介绍 produer：消息的生产者，往topic当中生产消息 consumer：消息的消费者，从topic当中消费消息 broker：kafka的服务器 zookeeper：kafka依赖于zk保存一些topic以及partition的信息 topic：一类消息的高度抽象集合，一个 阅读全文
posted @ 2017-03-02 16:39 zhangqi0828 阅读(244) 评论(0) 推荐(0) 编辑