Daemon

摘要： 查看上面某一个文件的情况 解决方法 参考 http://centoshowtos.org/hadoop/fix-corrupt-blocks-on-hdfs/ http://stackoverflow.com/questions/19205057/how-to-fix-corrupt-hadoop- 阅读全文

摘要： 一、参数含义 dfs.replication：设置数据块应该被复制的份数； dfs.replication.min：所规定的数据块副本的最小份数； dfs.replication.max：所规定的数据块副本的最大份数； dfs.safemode.threshold.pct：指定应有多少比例的数据块满足最小副本数要求。 (1)当小于这个比例， 那就将系统切换成安全模式，对数据块进行复制； (... 阅读全文

摘要： 自己在idea联合svn时遇到这个问题，然后bd和gg，发现很多人都乱说，说什么TortoiseSVN是客户端，默认不包含svn.exe，需要安装Subversion。bullshit！ 之所以没有，是因为安装TortoiseSVN的实话没有勾选指定安装项。 找到安装包重新运行，选择modify，然后勾选command line client tools项就行了。 望吾加勉。 阅读全文

摘要： 平时用惯了ZooInspector，偶然知晓了idea的这个插件，试了一下感觉挺方便的 由于开发环境在内网，所以这里介绍内网方式（外网更简单）。 1.下载插件 http://plugins.jetbrains.com/plugin/7364 2.导入 导入后可以在Plugins列表的最下方找到zookeeper，要使用的话还必须重启idea 3.配置 4.使用 试用后感觉开发... 阅读全文

摘要： kafka诞生之初，它自带一个基于scala的生产者和消费者客户端。但是慢慢的我们认识到这些API有很多限制。比如，消费者有一个“高级”API支持分组和异常控制，但是不支持很多更复杂的应用场景；它也有一个“低级”API，支持对细节的完全控制，但是要求码农自己控制失败和异常。所以重新设计了它们。 这个 阅读全文

摘要： Kafka发布0.9了，这一重磅消息，让小伙伴们激动不已，来看看这个版本有哪些值得关注的地方吧！ 一、安全特性 在0.9之前，Kafka安全方面的考虑几乎为0，在进行外网传输时，只好通过Linux的防火墙、或其他网络安全方面进行配置。相信这一点，让很多用户在考虑使用Kafka进行外网消息交互时有些担心。在安全方面，主要有以下方面设计： 客户端连接borker使用SSL或SASL进行验证 bor... 阅读全文

摘要： 导入数据最快的方式，可以略过WAL直接生产底层HFile文件 （环境：centos6.5、Hadoop2.6.0、HBase0.98.9） 1.SHELL方式 1.1 ImportTsv直接导入 命令：bin/hbase org.apache.hadoop.hbase.mapreduce.Impor 阅读全文

摘要： Choosing the Right Import Method If the data is already in an HBase table: To move the data from one HBase cluster to another, use snapshot and either the clone_snapshot or ExportSnapshot utility; o... 阅读全文

摘要： 1.HA HA即为High Availability，用于解决NameNode单点故障问题，该特性通过热备的方式为主NameNode提供一个备用者，一旦主NameNode出现故障，可以迅速切换至备NameNode，从而实现不间断对外提供服务。 在一个典型的HDFSHA场景中，通常由两个NameNod 阅读全文

摘要： 1. transient的作用及使用方法 我们都知道一个对象只要实现了Serilizable接口，这个对象就可以被序列化，java的这种序列化模式为开发者提供了很多便利，我们可以不必关系具体序列化的过程，只要这个类实现了Serilizable接口，这个类的所有属性和方法都会自动序列化。 然而在实际开 阅读全文