2017年8月9日
SparkContext can find no suitable driver for jdbc
摘要： Well,there is no post after my blog has been renovationed,so it is. Here, when i use a jdbc format url to connect to a mysql server in spark program. 阅读全文
posted @ 2017-08-09 16:20 imklutz 阅读(437) 评论(0) 推荐(0) 编辑
kettle导入转换的时候不覆盖资源库里同名的连接的方法
摘要： 在用kettle做转换抽取数据的时候，导入同事做好的转换时会覆盖资源库里同名的连接 这样设置即可避免 设置方法如图： 两个都勾选就会询问是否覆盖 enjoy yours! 阅读全文
posted @ 2017-08-09 16:19 imklutz 阅读(527) 评论(0) 推荐(0) 编辑
用kettle做ETL时设置mysql连接参数使数据写入速度加快
摘要： 在用kettle做转换抽取数据的时候，向mysql服务器写入数据时会很慢，尤其是广域网里的服务器 经过网上查资料看文档，确定了这三个连接属性 设置后写入速度有明显提升。 如图： 设置方法： 阅读全文
posted @ 2017-08-09 16:19 imklutz 阅读(1510) 评论(0) 推荐(0) 编辑
infobright社区版rpm包
摘要： infobright已经不提供社区版很久了 之前做数据仓库用到的一个rpm包 需要的自行下载吧 链接:http://pan.baidu.com/s/1b0mMx4 链接不行了在下边评论即可,我会更新 阅读全文
posted @ 2017-08-09 16:17 imklutz 阅读(284) 评论(0) 推荐(0) 编辑
mysql在大数据量下性能调优相关参数
摘要： 摘自http://blog.csdn.net/nightelve/article/details/17393631 一、thread_concurrency，默认的8 thread_concurrency的值的正确与否, 对mysql的性能影响很大, 在多个cpu(或多核)的情况下，错误设置了thr 阅读全文
posted @ 2017-08-09 16:15 imklutz 阅读(760) 评论(0) 推荐(0) 编辑
greenplum给某个用户赋予整个schema下所有表的权限
摘要： greenplum 虽然是postgresql的衍生产品 但是语法上略有不同 类似 grant all on all tables in schema schemaname to someone 就不行 报错提示 ERROR: syntax error at or near "all" 所以使用了笨 阅读全文
posted @ 2017-08-09 16:12 imklutz 阅读(8054) 评论(0) 推荐(0) 编辑
2017年7月24日
Linux挂载大于2T的磁盘硬盘
摘要： 最近公司硬盘用量激增，需要给服务器增加一个3T的硬盘。 但是第一次使用 fdisk 挂载的时候最多只能挂载2T的容量 上网查了资料总结出 挂载2T以上的硬盘需要GPT格式，使用parted命令，细节如下 （1）parted /dev/sdb （视具体情况盘符编号）（2）print （查看当前分区情况 阅读全文
posted @ 2017-07-24 12:10 imklutz 阅读(12812) 评论(0) 推荐(1) 编辑
2017年7月21日
Centos 系统swap(虚拟内存)管理
摘要： 转自 http://blog.csdn.net/lengyue1084/article/details/51405640 在原文的基础上修改和优化 SWAP是Linux中的虚拟内存，用于扩充物理内存不足而用来存储临时数据存在的。它类似于Windows中的虚拟内存。在Windows中，只可以使用文件来 阅读全文
posted @ 2017-07-21 16:41 imklutz 阅读(6902) 评论(1) 推荐(0) 编辑