Terry's blog

Focus on bigdata and cloud.

博客园 首页 新随笔 联系 订阅 管理

07 2018 档案

摘要:shell 脚本如下: logFile=/usr/local/log/$today.txt exec >> $logFile 2>&1 阅读全文
posted @ 2018-07-24 10:42 王晓成 阅读(3328) 评论(0) 推荐(0) 编辑

摘要:需求:从当前时间前6个月开始执行某个语句,直到执行到当前日期的前一天。 shell脚本如下: #!/bin/bash yesterday=`date -d -1day +%Y%m%d` sixmonthsago=` date -d -6month +%Y%m%d` echo $sixmonthsag 阅读全文
posted @ 2018-07-23 18:15 王晓成 阅读(1833) 评论(0) 推荐(0) 编辑

摘要:1. 进入mongo环境 mongo [root@slave2 ~]# mongoMongoDB shell version v3.4.16connecting to: mongodb://127.0.0.1:27017MongoDB server version: 3.4.16Server has 阅读全文
posted @ 2018-07-21 11:51 王晓成 阅读(248) 评论(0) 推荐(0) 编辑

摘要:转自 https://www.cnblogs.com/layezi/p/7290082.html 安装前注意: 此教程是通过yum安装的.仅限64位centos系统 安装步骤: 1、创建仓库文件: 1vi /etc/yum.repos.d/mongodb-org-3.4.repo 1vi /etc/ 阅读全文
posted @ 2018-07-21 10:01 王晓成 阅读(334) 评论(0) 推荐(0) 编辑

摘要:通过spark sql 将hdfs 文件导入到mongodb 阅读全文
posted @ 2018-07-20 23:34 王晓成 阅读(1343) 评论(0) 推荐(0) 编辑

摘要:【常规】 【调试部分、编译】 【重构】 【查找】 【VCS】 转自:http://www.cnblogs.com/valor-xh/p/6372508.html 阅读全文
posted @ 2018-07-14 10:11 王晓成 阅读(246) 评论(0) 推荐(0) 编辑

摘要:概述:使用dump 方式将mongo数据导出,上传到hdfs,然后在hive中建立外部表。 1. 使用mongodump 将集合导出 mongodump --host=localhost:27017 --db=mydb --collection=users --out=/tmp/root/mongo 阅读全文
posted @ 2018-07-12 10:44 王晓成 阅读(802) 评论(0) 推荐(0) 编辑

摘要:将MongoDB数据导入Hive,出现FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. com/mongodb/util/JSON错误 阅读全文
posted @ 2018-07-11 17:35 王晓成 阅读(1506) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示