摘要: tar -xzvf fenci.py.tar.gz -C pythontab/ bash -x ./test.sh 2>&1 | tee log 阅读全文
posted @ 2017-08-12 15:07 代号菜鸟 阅读(191) 评论(0) 推荐(0) 编辑
摘要: show partitions MUREX_CNFOPT_REG_SHIBOR;SELECT COUNT(*),SUM(CAST(TP_STRIKE AS DOUBLE)) FROM MUREX_CNFOPT_REG_SHIBOR WHERE dt='20170705'; SELECT COUNT( 阅读全文
posted @ 2017-08-11 19:13 代号菜鸟 阅读(407) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2017-08-11 08:29 代号菜鸟 阅读(188) 评论(0) 推荐(0) 编辑
摘要: 参考官方文档 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 架构图 hdfs-site.xml配置 core-site.xml配置 阅读全文
posted @ 2017-08-10 08:04 代号菜鸟 阅读(857) 评论(0) 推荐(0) 编辑
摘要: ZooKeeper服务命令: 在准备好相应的配置之后,可以直接通过zkServer.sh 这个脚本进行服务的相关操作 1. 启动ZK服务: sh bin/zkServer.sh start 2. 查看ZK服务状态: sh bin/zkServer.sh status 3. 停止ZK服务: sh bi 阅读全文
posted @ 2017-08-09 08:22 代号菜鸟 阅读(255) 评论(0) 推荐(0) 编辑
摘要: Hadoop 2.x 部署 * Local Mode * Distributed Mode * 伪分布式 一台机器,运行所有的守护进程, 从节点DataNode、NodeManager * 完全分布式 有多个从节点 DataNodes NodeManagers 配置文件 $HADOOP_HOME/e 阅读全文
posted @ 2017-08-08 08:13 代号菜鸟 阅读(299) 评论(0) 推荐(0) 编辑
摘要: 1 import org.apache.hadoop.conf.Configuration; 2 import org.apache.hadoop.fs.FileStatus; 3 import org.apache.hadoop.fs.FileSystem; 4 import org.apache.hadoop.fs.Path; 5 import org.apache.hadoop.... 阅读全文
posted @ 2017-08-06 09:33 代号菜鸟 阅读(411) 评论(0) 推荐(0) 编辑
摘要: http://hadoop.apache.org/docs/r2.5.2/api/index.html 阅读全文
posted @ 2017-08-05 17:47 代号菜鸟 阅读(209) 评论(0) 推荐(0) 编辑
摘要: 1 #! /bin/bash 2 3 #/python2292/CNEDMp/ETLscript/CNEDMp_etl_v1.0/testhis 4 LOAD_PATH=$(cd $(dirname $0); pwd) 5 #/python2292/CNEDMp/ETLscript/CNEDMp_etl_v1.0 6 DEPLOY_PATH=$(cd $(dirname $LOAD... 阅读全文
posted @ 2017-08-04 21:14 代号菜鸟 阅读(415) 评论(0) 推荐(0) 编辑
摘要: 1 #! /bin/bash 2 DEPLOY_PATH=$(cd "$(dirname "$0")"; pwd) 3 INI_FILE=$DEPLOY_PATH'/cnedmp_etl.ini' 4 . $INI_FILE 5 BASE_PATH=$(cd "$(dirname "$DEPLOY_PATH")"; pwd) 6 MAIN_PATH=$(cd "$(dirname "... 阅读全文
posted @ 2017-08-04 21:11 代号菜鸟 阅读(253) 评论(0) 推荐(0) 编辑