随笔 - 45  文章 - 0 评论 - 7 阅读 - 20万
< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

01 2016 档案
yarn安装部署
摘要：在HDFS HA(http://www.cnblogs.com/yinchengzhe/p/5140117.html)基础上进行yarn的安装。1、配置yarn-site.xml 参数详情参考http://www.cnblogs.com/yinchengzhe/p/5142659.html 配置... 阅读全文
posted @ 2016-01-19 17:16 一寸相思万千劫 阅读(665) 评论(0) 推荐(0) 编辑
Hadoop yarn配置参数
摘要：参照site：http://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml我们在配置yarn的时候只有充分了解各参数的含义，才能避免隐患。这些参数均在yarn-site.xml中配置 以下涉... 阅读全文
posted @ 2016-01-19 16:46 一寸相思万千劫 阅读(24559) 评论(1) 推荐(3) 编辑
yarn的初步理解
摘要：查考site：http://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-site/YARN.htmlyarn结构图如下：1、yarn 下一代的MapReduce系统框架，也称为MRv2(MapReduce version 2), 它是... 阅读全文
posted @ 2016-01-19 10:43 一寸相思万千劫 阅读(1066) 评论(0) 推荐(0) 编辑
使用QJM部署HDFS HA集群
摘要：一、所需软件 1. JDK版本 下载地址：http://www.oracle.com/technetwork/java/javase/index.html 版本：jdk-7u79-linux-x64.gz 2. Hadoop软件 下载地址：http://hadoop.apach... 阅读全文
posted @ 2016-01-18 18:10 一寸相思万千劫 阅读(790) 评论(0) 推荐(0) 编辑
Linux下用户及用户组的管理
摘要：一、用户账号管理 1. 添加新用户账号 命令格式：useradd 选项 用户名 选项含义如下： -c comment 指定一段注释性描述。 -d 目录 指定用户主目录，如果此目录不存在，则同时使用-m选项，可以创建主目录。 -g 用户组 指定用户所属的用户组。 ... 阅读全文
posted @ 2016-01-18 11:27 一寸相思万千劫 阅读(258) 评论(0) 推荐(0) 编辑
Linux给用户增加sudo权限
摘要：有时候我们在Linux下执行sudo的时候，出现xxx is not int the sudoers file告诉我们当前用户不是sudoer，所以我们要把当前用户添加进去，步骤如下：1、进入超级用户模式，也就是 'su -' 命令，输入超级用户密码。(也就是root用户)2、编辑sudoers文件... 阅读全文
posted @ 2016-01-18 10:34 一寸相思万千劫 阅读(484) 评论(0) 推荐(0) 编辑
idea安装Scala插件
摘要：最近在学习研究kafka，当我们进行debug跟踪时，就需要研究源码了。kafka的源码是Scala语言，在此就需要Scala环境来运行kafka源码了。接下来记录的是我在IDEA中安装Scala插件。步骤如下：1、IDEA下载地址 http://www.jetbrains.com/idea/2、... 阅读全文
posted @ 2016-01-15 11:16 一寸相思万千劫 阅读(646) 评论(0) 推荐(0) 编辑
kafka-简单事例
摘要：开始创建项目，这里所用的工程结构是maven。 在pox.xml中添加kafka的依赖包，如下所示： org.apache.kafka kafka_2.9.1 0.8.2.2 依赖配置参照http://mvnrepository.com/search?q=kafka中对应的... 阅读全文
posted @ 2016-01-14 13:51 一寸相思万千劫 阅读(711) 评论(0) 推荐(0) 编辑
kafka在zookeeper中的存储结构
摘要：参考site：http://kafka.apache.org/documentation.html#impl_zookeeper1、zookeeper客户端相关命令在确保zookeeper服务启动状态下，通过 bin/zkCli.sh -server 127.0.0.1:2181 该命令来连接客户端... 阅读全文
posted @ 2016-01-13 15:22 一寸相思万千劫 阅读(10043) 评论(0) 推荐(4) 编辑
kafka管理器kafka-manager部署安装
摘要：参考site：https://github.com/yahoo/kafka-manager 一、功能管理多个kafka集群便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)选择你要运行的副本基于当前分区状况进行可以选择topic配置并创建topic(0.8.1... 阅读全文
posted @ 2016-01-13 10:03 一寸相思万千劫 阅读(20740) 评论(5) 推荐(1) 编辑
kafka消息监控-KafkaOffsetMonitor
摘要：参照site：https://github.com/quantifind/KafkaOffsetMonitor一、简述 这个应用程序用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset，我们可以浏览当前的消费者组，并且每个Topic的所有Partition的... 阅读全文
posted @ 2016-01-12 10:29 一寸相思万千劫 阅读(21480) 评论(1) 推荐(0) 编辑
在Kafka中修改Topic的preferred replica
摘要：参考site：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools目前我们的topic test-add-replication-topic中partition 0的replicas为[1,2]，则1为preferre... 阅读全文
posted @ 2016-01-11 15:10 一寸相思万千劫 阅读(4491) 评论(0) 推荐(0) 编辑
kafka中对一个topic增加replicas
摘要：是指手动写扩充replicas的配置文件，然后使用工具进行操作。 参考官网site：http://kafka.apache.org/documentation.html#basic_ops_automigrate 1.首先创建一个三分区一副本的topic，并查看详细信息： 2.修... 阅读全文
posted @ 2016-01-11 14:21 一寸相思万千劫 阅读(4521) 评论(0) 推荐(0) 编辑
在kafka上对topic新增partition
摘要：对topic增加partition 参考官网site：http://kafka.apache.org/documentation.html#basic_ops_modify_topic 通过kafka-topics.sh工具的alter命令，将replicated-topic的partition... 阅读全文
posted @ 2016-01-11 11:44 一寸相思万千劫 阅读(3147) 评论(0) 推荐(0) 编辑
kafka log4j配置
摘要：kafka日志文件分为5种类型，依次为：controller,kafka-request,server,state-change,log-cleaner，不同类型log数据，写到不同文件中: 区别于config/server.properties中的log.dirs参数。 1: # Licensed to the Apache Software Foundati... 阅读全文
posted @ 2016-01-08 09:15 一寸相思万千劫 阅读(5433) 评论(0) 推荐(0) 编辑
kafka安装与使用
摘要：一、下载下载地址： http://kafka.apache.org/downloads.htmlkafka目录结构目录说明bin操作kafka的可执行脚本，还包含windows下脚本config配置文件所在目录libs依赖库目录logs日志数据目录，目录kafka把server端日志分为5种类型， ... 阅读全文
posted @ 2016-01-07 23:17 一寸相思万千劫 阅读(4029) 评论(0) 推荐(3) 编辑
kafka 消息服务
摘要：apache kafka参考http://kafka.apache.org/documentation.html消息队列方式：点对点：消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并且消费消息。这里要注意：消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经... 阅读全文
posted @ 2016-01-07 23:08 一寸相思万千劫 阅读(8749) 评论(0) 推荐(1) 编辑
kafka主要配置
摘要：Kafka为broker,producer和consumer提供了很多的配置参数。 了解并理解这些配置参数对于我们使用kafka是非常重要的。官网配置地址： Configuration每个kafka broker中配置文件server.properties默认必须配置的属性如下： 1 broker.... 阅读全文
posted @ 2016-01-07 23:03 一寸相思万千劫 阅读(40181) 评论(0) 推荐(3) 编辑

Copyright © 2025 一寸相思万千劫
Powered by .NET 9.0 on Kubernetes Powered by: 博客园
点击右上角即可分享
微信分享提示