摘要：
对于上传文件到hdfs上时，当时hadoop的副本系数是几，这个文件的块数副本数就会有几份，无论以后你怎么更改系统副本系统，这个文件的副本数都不会改变，也就说上传到分布式系统上的文件副本数由当时的系统副本数决定，不会受replication的更改而变化，除非用命令来更改文件的副本数。因为dfs.re 阅读全文
摘要：
I was trying loading file using hadoop API as an experiment. I want to set replication to minimum as this one is for experiment. I first tried this wi 阅读全文
摘要：
RVM 是一个命令行工具，可以提供一个便捷的多版本 Ruby 环境的管理和切换。 https://rvm.io/ 如果你打算学习 Ruby / Rails, RVM 是必不可少的工具之一。 这里所有的命令都是再用户权限下操作的，任何命令最好都不要用 sudo. RVM 安装 修改 RVM 的 Rub 阅读全文
摘要：
Fluentd是一个开源的数据收集器，专为处理数据流设计，有点像 syslogd ，但是使用JSON作为数据格式。它采用了插件式的架构，具有高可扩展性高可用性，同时还实现了高可靠的信息转发。 据分(Y)析(Y)，Fluentd是由Fluent+d得来，d生动形象地标明了它是以一个守护进程的方式运行。 阅读全文
摘要：
传统的日志查看方式 使用fluentd之后 一、介绍 Fluentd是一个开源的数据收集器，可以统一对数据收集和消费，以便更好地使用和理解数据。几大特色：使用JSON统一记录 简单灵活可插拔架构 最小的资源需求 内置可靠性 Fluentd尽可能地将数据结构转化为JSON格式，这样可以使Fluentd 阅读全文
摘要：
The partition reassignment tool can also be used to selectively move replicas of a partition to a specific set of brokers. When used in this manner, i 阅读全文
摘要：
The partition reassignment tool can be used to move some topics off of the current set of brokers to the newly added brokers. This is typically useful 阅读全文
摘要：
本文阐述如何使用Kafka自带的kafka-consumer-groups.sh脚本随意设置消费者组(consumer group)的位移。需要特别强调的是， 这是0.11.0.0版本提供的新功能且只适用于新版本consumer。 在新版本之前，如果要为已有的consumer group调整位移必须 阅读全文
摘要：
kafka如何创建topic？ Kafka创建topic命令很简单，一条命令足矣： bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test 这 阅读全文
摘要：
Kafka无消息丢失配置 Kafka到底会不会丢数据(data loss)? 网上各种说法都有，在回答这个问题之前， 我们要明确“责任边界”。所谓责任边界就是要确定消息在生产和消费的完整流程中是由谁来负责，确保它不会丢失。这样即使真的出现了消息丢失，也能明确是责任主体，有针对性地进行改进和调整。 个 阅读全文
摘要：
Kafka如何删除topic？ 今天为大家带来“Kafka删除topic原理解析”，希望可以帮到那些苦于无法删除topic的朋友们。 前提条件： 在启动broker时候开启删除topic的开关，即在server.properties中添加： delete.topic.enable=true 命令： 阅读全文
摘要：
Kafka 0.11新功能介绍：空消费组延迟rebalance 在0.11之前的版本中，多个consumer实例加入到一个空消费组将导致多次的rebalance，这是由于每个consumer instance启动的时间不可控，很有可能超出coordinator确定的rebalance timeout 阅读全文
摘要：
http://curator.apache.org/index.html Welcome to Apache Curator Welcome to Apache Curator What is Curator? What is Curator? Curator n ˈkyoor͝ˌātər: a k 阅读全文
摘要：
linux是一个很能自动产生文件的系统，日志、邮件、备份等。虽然现在硬盘廉价，我们可以有很多硬盘空间供这些文件浪费，让系统定时清理一些不需要的文件很有一种爽快的事情。不用你去每天惦记着是否需要清理日志，不用每天收到硬盘空间不足的报警短信，想好好休息的话，让我们把这个事情交给机器定时去执行吧。 1.删 阅读全文
摘要：
When we are talking about performance of Kafka Producer, we are really talking about two different things: latency: how much time passes from the time 阅读全文
摘要：
问题原因是velocity的日志框架导致（velocity是使用自己封装的日志框架记录日志的），velocity在初始化Logger时，如果没有读取到配置文件，则会使用默认的velocity.log做为文件输出路径，源代码里使用了 File file = new File(“velocity.log 阅读全文
摘要：
一、查看哪些IP连接本机 netstat -an 二、查看TCP连接数 1)统计80端口连接数netstat -nat|grep -i "80"|wc -l2）统计httpd协议连接数ps -ef|grep httpd|wc -l3）、统计已连接上的，状态为“establishednetstat - 阅读全文
摘要：
虽说这个算是正常现象，等的时间也太久了吧。分钟级了。这个RECOVERY里面的WAL有点多余。有这么久的时间，早从新读取kafka写入hdfs了。纯属个人见解。 阅读全文
摘要：
kafka-connect-hdfs中操作hdfs的HdfsStorage.class中需要做修改 当然 url的相应配置得改成hdfs://nameservice/*，因为要HA 啊。不能按照原来的要求了，原来的要求如下： 虽然实例化storage时候不用url了，往hive load还是要的。 阅读全文
摘要：
修改配置文件一般需要指定用户、用户组、端口、访问IP段，当然这些都有默认值，然后启动程序和测试。 关于配置文件的一点补充： 出处： http://www.xiaomastack.com/2016/01/22/tinyproxy/ 阅读全文
摘要：
Supervisor 是基于 Python 的进程管理工具，只能运行在 Unix-Like 的系统上，也就是无法运行在 Windows 上。Supervisor 官方版目前只能运行在 Python 2.4 以上版本，但是还无法运行在 Python 3 上，不过已经有一个 Python 3 的移植版 阅读全文
摘要：
文章在Centos 6.5 linux平台上演示一下如何进行编译安装zlib软件，并配置相关的选项加载使用。示范从下载到安装并配置进行使用过程一系列整套讲解，希望可以给网友考虑使用，谢谢。 文章在Centos 6.5 linux平台上演示一下如何进行编译安装zlib软件，并配置相关的选项加载使用。示 阅读全文
摘要：
1. http://pypi.python.org/pypi/xlwt 和http://pypi.python.org/pypi/xlrd下载xlwt-0.7.4.tar.gz和xlrd-0.7.7.tar.gz。 2. 解压，如我把它们解压到F：DOWNLOAD下。 3. cmd,在命令行输入F： 阅读全文
摘要：
user nobody; #启动进程,通常设置成和cpu的数量相等 worker_processes 1; #全局错误日志及PID文件 #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error 阅读全文
The type java.lang.Object cannot be resolved. It is indirectly referenced from required .class files
摘要：
jdk问题 阅读全文
[SetPropertiesRule]{Server/Service/Engine/Host/Context} Setting property 'source' to 'org.eclipse.js
摘要：
解决办法： 双击server，勾选上【Server Options】里面的【Publish module contexts to separte XML files】，如下图即可。 阅读全文
摘要：
在出现此错误的项目上单击鼠标右键》Build Path》Configure Build Path 阅读全文
摘要：
2017-03-13 15:40:15,003 ERROR [com.hisense.hitv.service.dotexc.impl.DotExcPolicyServiceImpl.updateDotExcPolicy(DotExcPolicyServiceImpl.java:61)] - <or 阅读全文
摘要：
elasticsearch原生支持date类型，json格式通过字符来表示date类型。所以在用json提交日期至elasticsearch的时候，es会隐式转换，把es认为是date类型的字符串直接转为date类型。至于什么样的字符串es会认为可以转换成date类型，参考elasticsearch 阅读全文