摘要： linux下的es的tar包，拖到windows下，配置后，启动bin目录下的bat文件，也是可以正常运行的。 从linux下拷的tar包，需要修改虚拟机的内存elasticsearch.in.bat，否则会内存不够无法正常启动。 同时还需要修改数据和日志的存储路径。 最好还是在windows下安装 阅读全文

摘要： jdk中已经提供了一个RPC框架—RMI，但是该PRC框架过于重量级并且可控之处比较少，所以Hadoop RPC实现了自定义的PRC框架。 同其他RPC框架一样，Hadoop RPC分为四个部分： （1）序列化层：Clent与Server端通信传递的信息采用了Hadoop里提供的序列化类或自定义的W 阅读全文

摘要： kill -9或者断电等原因异常，es在重启后，会通过translog来进行数据恢复。 默认的恢复速度是较慢的，可以设置indices.recovery.current_streams:10增大恢复的线程数，还可以设置indices.recovery的其他参数加快恢复的速度。 但是某些情况下，如lu 阅读全文

摘要： 原文链接：https://my.oschina.net/rickylau/blog/527602 保存此段包含的文档，每篇文档中包含的域以及每个域的信息。 .tim文件中存储着每个域中Term的统计信息且保存着指向.doc, .pos, and .pay 索引文件的指针。 .tip文件保存着Term 阅读全文

摘要： 原文链接：http://mp.weixin.qq.com/s?__biz=MzA5NzkxMzg1Nw==&mid=2653160642&idx=1&sn=608f4e6883c3d50a0b1db535aac416a4#rd 阅读全文

摘要： 原文链接：　http://www.sojson.com/blog/213.html 阅读全文

摘要： 一、uber(u:ber)模式 MapReduce以Uber模式运行时，所有的map，reduce任务都在一个jvm中运行，对于小的mapreduce任务，uber模式的运行将更为高效。 uber模式配置，在mapred-site.xml中进行配置，如下 mapreduce.job.ubertask 阅读全文

摘要： zookeeper启动时报8080 端口被占用，导致启动失败。特别是服务器上部署了tomcat服务时需要注意。 通过查看zookeeper的官方文档，发现有3种解决途径： （1）删除jetty。 （2）修改端口。 修改方法的方法有两种，一种是在启动脚本中增加 -Dzookeeper.admin.se 阅读全文

摘要： 一、fsimage，edits和datanode的block在本地文件系统中位置的配置 fsimage：hdfs-site.xml中的dfs.namenode.name.dir 值例如file:///opt/software/hadoop/data/nn/image edits：hdfs-site. 阅读全文

摘要： dos2unix将windows格式的文件转换为linux格式的文件。 unix2dos将linux格式的文件转换为windows格式的文件。 dos2unix和unix2dos会转换windows和linux中文件的换行符。 我们知道windows中的换行符是\r\n,linux的换行符是\n。 阅读全文