03 2017 档案

linux中hadoop组件启动日志存放问题
摘要：如果是nohup xxxx &的话会在当前目录下生成一个nohup文件存放当前出现所有的日志,&表示后台启动； 当然你也可以将日志存放在 /dev/null表示当前日志存放的位置，这个目录下的所有日志相当于黑洞都是找不到的 2 &1其中2表示错误日志，1表示正常日志，2 &1意思是错误日志也保存正常 阅读全文
posted @ 2017-03-28 16:54 zhangqi0828 阅读(263) 评论(0) 推荐(0) 编辑
spark在collect收集数据的时候出现outOfMemoryError:java heap space
摘要：spark的collect是action算子，所有最后会以数组的形式返回给driver端，当数据太大的时候就会出现堆内存溢出。OutofMemoryError:java heap space。 在spark中默认的数据的存储是1G的大小，spark.default.memory(default 1G 阅读全文
posted @ 2017-03-27 00:10 zhangqi0828 阅读(995) 评论(0) 推荐(0) 编辑
查看hadoop压缩方式
摘要：bin/hadoop checknative 来查看我们编译之后的hadoop支持的各种压缩，如果出现openssl为false，那么就在线安装一下依赖包 阅读全文
posted @ 2017-03-25 03:01 zhangqi0828 阅读(631) 评论(0) 推荐(0) 编辑
Kafka命令行操作
摘要：Kafka命令行操作 1）查看当前服务器中的所有topic 2）创建topic 选项说明： --topic 定义topic名 --replication-factor 定义副本数 --partitions 定义分区数 3） 删除topic 需要server.properties中设置delete.t 阅读全文
posted @ 2017-03-21 00:27 zhangqi0828 阅读(166) 评论(0) 推荐(0) 编辑
kafk的数据消费快速的原因
摘要：kafka为什么消费数据很快呢？ 1.数据的顺序读写 2.页缓存（操作系统层面） https://blog.csdn.net/gdj0001/article/details/80136364 阅读全文
posted @ 2017-03-02 18:18 zhangqi0828 阅读(190) 评论(0) 推荐(0) 编辑
kafka的消息组件
摘要：kafka的组件的介绍 produer：消息的生产者，往topic当中生产消息 consumer：消息的消费者，从topic当中消费消息 broker：kafka的服务器 zookeeper：kafka依赖于zk保存一些topic以及partition的信息 topic：一类消息的高度抽象集合，一个 阅读全文
posted @ 2017-03-02 16:39 zhangqi0828 阅读(244) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示