03 2018 档案

使用命令行部署 sqlserver dacpac 文件

摘要："C:\Program Files (x86)\Microsoft SQL Server\110\DAC\bin\SqlPackage.exe" /TargetServerName:"localhost" /SourceFile:"database.dacpac" /TargetDatabaseNa 阅读全文

posted @ 2018-03-23 14:57 爱知菜阅读(15) 评论(0) 推荐(0) 编辑

使用命令行来执行Pentaho Data integration job

摘要：cd "C:\Program Files (x86)\Kettle" call kitchen.bat -file:"C:\Elekta Projects\CE_Activities\MAIN.kjb" -level:Minimal 亲测上面这句可行如果不用call的话, 会报一个错: ERROR 阅读全文

posted @ 2018-03-15 11:22 爱知菜阅读(71) 评论(0) 推荐(0) 编辑

Map-Reduce 代码的一个Java模板

摘要：Mapper的默认key是文本中一行的偏移量, value则是输入文本的值 import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.IOException; 阅读全文

posted @ 2018-03-09 18:30 爱知菜阅读(19) 评论(0) 推荐(0) 编辑

解决datanode没有起来, hadoop no dataNode to stop问题

摘要：解决hadoop no dataNode to stop问题错误原因： datanode的clusterID 和 namenode的 clusterID 不匹配。解决办法: 1、打开 hadoop/tmp/dfs/namenode/name/dir 配置对应目录下的 current 目录下的阅读全文

posted @ 2018-03-09 17:35 爱知菜阅读(159) 评论(0) 推荐(0) 编辑

Ubuntu 16.04 安装Maven3.5.2

摘要：Ubuntu 16.04 安装Maven3.5.2 1 下载地址 http://maven.apache.org/download.cgi 2 将下载到的apache-maven-3.5.2-bin.tar.gz文件上传到/temp目录下，然后切换到root用户下，执行如下命令。 root@test 阅读全文

posted @ 2018-03-07 12:27 爱知菜阅读(18) 评论(0) 推荐(0) 编辑

Hadoop的分布式缓存系统 Distributed Cache

摘要：我们在操作hadoop时会写很多jar文件, 或者使用streaming的时候会写很多python脚本, 当集群开始运行任务时需要把这些jar文件和python脚本分发到具体执行的每个节点上去, 这个过程中用的是什么框架呢? 就是Hadoop的 Distributed Cache系统 Distrib 阅读全文

posted @ 2018-03-05 18:02 爱知菜阅读(26) 评论(0) 推荐(0) 编辑

Map-reduce 二次排序

摘要：Map-Reduce的流程切面: SplitMapperPartitionCombinerGroupReducer 这里要解释下 Partition 和 Group (它们都是Shuffle的重要步骤)的区别. 他们的作用都是为了Reducer分配记录去处理.但区别是Partition是把记录分给不阅读全文

posted @ 2018-03-01 16:51 爱知菜阅读(18) 评论(0) 推荐(0) 编辑