摘要：
cd "C:\Program Files (x86)\Kettle" call kitchen.bat -file:"C:\Elekta Projects\CE_Activities\MAIN.kjb" -level:Minimal 亲测上面这句可行 如果不用call的话, 会报一个错: ERROR 阅读全文
摘要：
Mapper的默认key是文本中一行的偏移量, value则是输入文本的值 import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.IOException; 阅读全文
摘要：
解决hadoop no dataNode to stop问题 错误原因： datanode的clusterID 和 namenode的 clusterID 不匹配。 解决办法: 1、 打开 hadoop/tmp/dfs/namenode/name/dir 配置对应目录下的 current 目录下的 阅读全文
摘要：
Ubuntu 16.04 安装Maven3.5.2 1 下载地址 http://maven.apache.org/download.cgi 2 将下载到的apache-maven-3.5.2-bin.tar.gz文件上传到/temp目录下，然后切换到root用户下，执行如下命令。 root@test 阅读全文
摘要：
我们在操作hadoop时会写很多jar文件, 或者使用streaming的时候会写很多python脚本, 当集群开始运行任务时需要把这些jar文件和python脚本分发到具体执行的每个节点上去, 这个过程中用的是什么框架呢? 就是Hadoop的 Distributed Cache系统 Distrib 阅读全文
摘要：
Map-Reduce的流程切面: SplitMapperPartitionCombinerGroupReducer 这里要解释下 Partition 和 Group (它们都是Shuffle的重要步骤)的区别. 他们的作用都是为了Reducer分配记录去处理.但区别是Partition是把记录分给不 阅读全文
摘要：
Azure SQL database和普通的sqlserver 最大的区别是一个数据库就是一个instance, 这样给跨库查询带来了很多不便, 但是仍可以通过external table这种方式来实现. 下面说下步骤 1. 为你的数据库添加一个 master key, 用于加密下一步中需要的 cr 阅读全文
摘要：
Shuffle阶段又可以分为Map端的shuffle和Reduce端的Shuffle。 一、Map端的shuffle Map端会处理输入数据并产生中间结果，这个中间结果会写到本地磁盘(转者注: 这个中间结果可以压缩, 以节省IO)，而不是HDFS。每个Map的输出会先写到内存缓冲区中，当写入的数据达 阅读全文
摘要：
单元测试在软件开发中很常见, 其特点是不侵入现有代码但能和现有代码融为一体,覆盖到每一个功能单元. 在数据库领域好的测试框架非常少见, tSQLt正是为数不多的其中之一. tSQLt 继承了单元测试的理念, 比如平时我们要测试数据库的时候, 数据库的表往往有很多外键关联, 如果要为测试添加测试数据, 阅读全文
摘要：
I would have to say that one of my favorite new utilities that shipped with SQL Server 2005 has been the SQLCMD utility. I am going to demonstrate the 阅读全文