Democracy and Science

摘要： 两个集群之间做数据同步，而且两个集群之间的版本不一致，这个时候使用的是hftp协议或者webhdfs协议！如果试图在两个运行着不同HDFS版本的集群上使用distcp命令来复制数据并使用hdfs协议，复制作业会失败，因为两个系统版本的RPC是不兼容的。要想弥补这种情况，1、使用htfp协议>>可以使... 阅读全文

摘要： create not-yet-evaluated object在R中创建 not-yet-evaluated(就是some code we will evaluated later!!)对象;然后执行的时候需要调用eval(参数中提供执行环境)或者do.ca()执行；do.call()作用就是do.... 阅读全文

摘要： R语言list的特点：It haslength,[[and[methods, and is recursive because list can contain other list!上图显示了操作符 [[和[的区别！---[返回结果依旧是一个list但是[[已经不是一个list了》》具有list属... 阅读全文

摘要： hive中建立外部分区表，外部数据格式是json的如何导入呢？json格式的数据表不必含有分区字段，只需要在hdfs目录结构中体现出分区就可以了This is all according to this guide: http://blog.cloudera.com/blog/2012/12/how... 阅读全文

摘要： 1、基本概念>>zookeeper handler （zk句柄）有点类似文件句柄，打开一个文件就保持了一个文件句柄！同样的道理： 建立一个到zk server的session就会有一个zk handler（可以用任何编程语言）。>> move session：client 可以 connect到 任... 阅读全文

摘要： 1、session是server维护的一个变量，如果消除每个session？----这里只做指定key的session删除1.1、显示调用废除指定key的sessionsession.removeAttribute("key");1.2、session设置生存周期，如果在这个期间内session没有... 阅读全文

摘要： 独立出一台机器，作为客户端，可以连接远程集群，配置注意事项；1、首先是hive，需要服务器启动一个服务 hive --service metastore然后修改hive客户端 hive-site.xml,主要就是配置 metastore这个服务，注意端口，客户端需要首先telnet ip port ... 阅读全文

摘要： It is sometimes required to change the default source folder working on the java project. One best example for this could be when normalizing the proj... 阅读全文

摘要： 首先pom文件如下 4.0.0 com.javacodegeeks.snippets.enterprise log4jexample 0.0.1-SNAPSHOT org.apache.logging.log4j log4j-api 2.0.2 ... 阅读全文

摘要： 主要讲3点，生成runnable jar 方法1是生成一个目录 方法2是直接一个runnable的jar 方法3是关于包含spring工程的情况 方法2和3其实是一致的1、生成runnable jar，但是最后并不是一个可执行的jar 而是一个目录主要使用 三个插件 将所需要的资源拷贝到/targe... 阅读全文