摘要：一、安装环境 1.1 JAVA 安装java1.7 下载jdk1.7: [root@node1~]# wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz?AuthParam=14527 阅读全文

摘要：一、集群的理论知识1.1 集群成员MongoDB的集群类似于GreenPlum集群，由一个入口节点负责任务分发与结果统计，分片结节负责执行任务。不同GP，多了一个config servers。集群有三个组件：A。shards:分片，即数据结点，存储数据和执行计算。为了保证高可用和数据一致性，生产环境... 阅读全文

摘要：一、kettle变量类型kettle变量分为：1.环境变量通过 set variables组件设置变量，范围可以是：JVM变量、作业变量、父作业变量、根作业变量。使用时通过${var}或 %%var%%变量方式引用变量2.属性文件变量在.kettle目录下的kettle.property文件中设置，可kettle中可以引用3.命令行参数(相当于位置参数)命令行参数是指用pan执行转换时传入的参数，... 阅读全文

摘要：简单的整理一下常用的linux监控命令本篇参考了：http://www.cnblogs.com/JemBai/archive/2010/07/30/1788484.html的内容 1.toptop能实时显示CPU 和内存的使用状况。top - 01:56:31 up 15:59, 1 user, load average: 0.00, 0.00, 0.00Tasks: 71 total, ... 阅读全文

摘要：1.转换的并行转换的并行是改变复制的数量上面的转换相当于下面的：实际是把一个任务拆成三部分执行，相当于在一个数据库连接中做了三次查询，数据库连接的开销没有增加，但是有三个进程一起执行。2.job的并行执行只需要在"START"设置即可。建议：将job的条目都做成子job.(To do this, w... 阅读全文

摘要：KETTLE集群搭建说明：本文档基于kettle5.4一、集群的原理与优缺点1.1集群的原理 Kettle集群是由一个主carte服务器和多个从carte服务器组成的，类似于master-slave结构，不同的是’master’处理具体任务，只负责任务的分发和收集运行结果。Master carte结... 阅读全文

摘要：1.修改oplog的大小 需要在每个机器上都配置。先在secondary上操作，最后在primary上操作。1)以单机的方式重启复制集的实例db.shutdownServer()在新的端口中启动实例mongod --port 37017 --dbpath /usr/local/mongodb-linux-x86_64-3.2.0/data2)备份原来的oplog[root@node1 mongod... 阅读全文

摘要：1.复制的角色复制有三种角色：primay:主库，执行所有的写操作，并把日志写入oplog里。secondary:复制主库的所有操作。读取主库的oplog，并执行日志里的内容。默认情况下，客户端不能读取secondary的数据。arbiter:仲裁者，在主库失败后选举主库。该角色是可选的角色。仲裁者不包含数据，客户端不可连接。2.主库primay:主库，执行所有的读写操作，并把日志写入oplog里... 阅读全文