2017年10月27日
spark报错处理
摘要： Spark报错处理 分析：出现这个情况的原因是spark启动的时候设置的是hostname启动的，导致访问的时候DNS不能解析主机名导致。 问题解决： 第一种方法：确保URL是spark://服务器ip:7077，而不是spark://hostname:7077；启动的时候指定-h ip地址 第二种 阅读全文
posted @ 2017-10-27 17:01 诗码者 阅读(8734) 评论(0) 推荐(0) 编辑
kafka报错处理
摘要： Kafka报错处理 1、 记一次kafka报错处理 Kafka停止后，再启动的时候发生了报错： [2017-10-27 09:43:18,313] INFO Recovering unflushed segment 15000679 in log mytest-0. (kafka.log.Log) 阅读全文
posted @ 2017-10-27 16:29 诗码者 阅读(8622) 评论(0) 推荐(0) 编辑
2017年10月26日
KafkaOffsetMonitor监控kafka
摘要： KafkaOffsetMonitor监控kafka 1、　KafkaOffsetMonitor是一个可以用于监控Kafka的Topic及Consumer消费状况的工具，其配置和使用特别的方便。源项目Github地址为：https://github.com/quantifind/KafkaOffset 阅读全文
posted @ 2017-10-26 10:07 诗码者 阅读(875) 评论(0) 推荐(0) 编辑
2017年10月19日
sparkthriftserver启动及调优
摘要： Sparkthriftserver启用及优化 1、 概述 sparkthriftserver用于提供远程odbc调用，在远端执行hive sql查询。默认监听10000端口，Hiveserver2默认也是监听10000端口，为了避免冲突，需要修改sparkthriftserver的端口。启用spar 阅读全文
posted @ 2017-10-19 16:45 诗码者 阅读(19676) 评论(0) 推荐(0) 编辑
2017年9月30日
Hive use mapreduce引擎 bsonFile splits报错处理
摘要： Hive use mapreduce引擎 1、 出现报错。关于bsonFile的。禁止hdfs里面存储的bson文件自动splits。 可以在hive-site.xml文件里面添加如下内容： <property> <name>bson.output.build_splits</name> <valu 阅读全文
posted @ 2017-09-30 09:14 诗码者 阅读(477) 评论(0) 推荐(0) 编辑
2017年9月21日
Mycat常见错误
摘要： Mycat常见错误 1、 问题： schema myinvoice didn't config tables,so you must set dataNode property! 解决：在schema.xml少加了一个参数 <schema name="myinvoice" checkSQLschem 阅读全文
posted @ 2017-09-21 19:34 诗码者 阅读(2428) 评论(0) 推荐(0) 编辑
Linux下MyCat和MyCat_web的安装和配置
摘要： Linux下MyCat和MyCat_web的安装和配置 Mycat 是一个数据库分库分表中间件 Mycat web 可以对 Mycat进行监控，这里分享一下 Mycat web 的搭建过程 详细内容可以参考 官方文档 Tip: 当前的最新版本为 Mycat-web-1.0 启动顺序必须为：zookp 阅读全文
posted @ 2017-09-21 19:30 诗码者 阅读(7434) 评论(0) 推荐(0) 编辑
sockets+proxychains代理，使内网服务器可以访问外网
摘要： Socks5+proxychains做正向代理 1、 应用场景： 有一台能上外网的机子，内网机子都不能连外网，需求是内网机子程序需要访问外网，做正向代理。 2、 软件 Server端： Client端： 3、SOCKS5 是一个代理协议，它在使用TCP/IP协议通讯的前端机器和服务器机器之间扮演一个 阅读全文
posted @ 2017-09-21 19:21 诗码者 阅读(3326) 评论(0) 推荐(0) 编辑
SFTP服务器搭建
摘要： Sftp搭建文档 1、 查看openssh的版本 # ssh -V Openssh版本必须大于4.8p1。 2、 创建用户并设置登录密码 #groupadd sftp #useradd –d /data/sftp/mysftp -g sftp -s /sbin/false mysftp #echo 阅读全文
posted @ 2017-09-21 19:16 诗码者 阅读(622) 评论(0) 推荐(0) 编辑
Mongodb同步数据到hive（二）
摘要： Mongodb同步数据到hive（二） 1、 概述 上一篇文章主要介绍了mongodb-based，通过直连mongodb的方式进行数据映射来进行数据查询，但是那种方式会对线上的数据库产生影响，所以今天介绍第二种方式—BSON-based，即使用mongoexport将所需要的表导出到本地文件，文件 阅读全文
posted @ 2017-09-21 18:55 诗码者 阅读(7015) 评论(0) 推荐(0) 编辑