摘要：
根据Kettle的设计所有的step在transformation里是并行运行的, 所以在transformation里无法做到针对某一个step记日志, 因为记日志那步会在transformation一开始就执行 而不会等待你要关注的那个step完成才开始. 可以把记日志的功能放到job里去: 对 阅读全文
摘要：
先去微软下载JDBC驱动: https://www.microsoft.com/en-US/download/details.aspx?id=11774 解压后得到的目录里有 jre7 jre8 和 auth 其中auth里的sqljdbc_auth.dll是用于sqlserver的integrat 阅读全文
摘要：
获取安全Token后, 在kettle里设置的密码是 password+Token 比如密码是123, token是789, 那就输入123789 Salesforce里的Entity与普通数据库的表不一样, 不是每一列都可以filter, 一般只有日期或数字等类型的字段支持filter, 具体可以 阅读全文
摘要：
是IO重定向 关闭标准输入和错误输出 >&n 使用系统调用 dup (2) 复制文件描述符 n 并把结果用作标准输出； <&n 标准输入复制自文件描述符 n； <&- 关闭标准输入（键盘）； >&- 关闭标准输出； n<&- 表示将 n 号输入关闭； n>&- 表示将 n 号输出关闭； exec 1 阅读全文
摘要：
Hadoop中有两种基本的文件类型, 一个是SequenceFile, 一个MapFile 他们通过底层 I/O接口 FSDataOutputStream 来进行写入, 对外操作起来就像普通的文件操作. 两者的相同之处在于都存放了很多键值对 两者的不同在于MapFile是SequenceFile的升 阅读全文
摘要：
1. Kernel name To reveal the kernel name, you can use -s parameter. # uname -s Linux The output will be same with uname without parameter. 2. Kernel r 阅读全文
摘要：
HDFS的默认目录在 /user/username HDFS的开放端口在core-site.xml这个配置文件中指定, 一般为9000或8020, data node 的数据存放本地目录也在该文件中, hadoop.tmp.dir配置项中 当你执行命令时不指定目录时, 一般命令都会在这个目录下执行 阅读全文
摘要：
在/etc/init.d下 /etc/init.d/someprogram restart 阅读全文
摘要：
Hadoop 使用python 来写 map-reduce, 关键就是利用标准输入和输出, 确切来说就是: import sys for line in sys.stdin pass() print "stdout" sys.stdin 和 print 两个函数 写好了mapper.py 和 red 阅读全文
摘要：
安装Docker: sudo apt-get install curl curl -fsSL https://get.docker.com/ | sh 然后根据提示把自己的账户加到docker的组里, 这样以后运行docker命令时就不必前缀sudo了 测试docker是否成功运行(先重启一下机器) 阅读全文