09 2017 档案
摘要：Hive use mapreduce引擎 1、 出现报错。关于bsonFile的。禁止hdfs里面存储的bson文件自动splits。 可以在hive-site.xml文件里面添加如下内容： <property> <name>bson.output.build_splits</name> <valu
阅读全文
摘要：Mycat常见错误 1、 问题： schema myinvoice didn't config tables,so you must set dataNode property! 解决：在schema.xml少加了一个参数 <schema name="myinvoice" checkSQLschem
阅读全文
摘要：Linux下MyCat和MyCat_web的安装和配置 Mycat 是一个数据库分库分表中间件 Mycat web 可以对 Mycat进行监控，这里分享一下 Mycat web 的搭建过程 详细内容可以参考 官方文档 Tip: 当前的最新版本为 Mycat-web-1.0 启动顺序必须为：zookp
阅读全文
摘要：Socks5+proxychains做正向代理 1、 应用场景： 有一台能上外网的机子，内网机子都不能连外网，需求是内网机子程序需要访问外网，做正向代理。 2、 软件 Server端： Client端： 3、SOCKS5 是一个代理协议，它在使用TCP/IP协议通讯的前端机器和服务器机器之间扮演一个
阅读全文
摘要：Sftp搭建文档 1、 查看openssh的版本 # ssh -V Openssh版本必须大于4.8p1。 2、 创建用户并设置登录密码 #groupadd sftp #useradd –d /data/sftp/mysftp -g sftp -s /sbin/false mysftp #echo
阅读全文
摘要：Mongodb同步数据到hive（二） 1、 概述 上一篇文章主要介绍了mongodb-based，通过直连mongodb的方式进行数据映射来进行数据查询，但是那种方式会对线上的数据库产生影响，所以今天介绍第二种方式—BSON-based，即使用mongoexport将所需要的表导出到本地文件，文件
阅读全文
摘要：Hadoop+Hive 操作mongodb数据 1、版本概述 hadoop-2.7.3、hive-2.2 下载响应的jar包：http://mvnrepository.com/，直接搜索想要的jar包，例如本次安装需要的： mongo-hadoop-core-2.0.2.jar、mongo-hado
阅读全文
摘要：Gitlab+Jenkins+Hook 1、gitlab和jenkins的安装见： http://www.cnblogs.com/cuishuai/p/7544663.html http://www.cnblogs.com/cuishuai/p/7544775.html 2、gitlab配置 1）创
阅读全文
摘要：使用Jenkins配置Git+Maven的自动化构建 实现背景：Jenkins通过给定的代码地址URL，将代码拉取到其“宿主服务器”（就是Jenkins的安装位置），进行编译、打包和发布到容器中。在Jenkins的宿主服务器中必须要有可以进行：代码clone（Git）、代码编译（Maven）、代码运
阅读全文
摘要：搭建Gitlab 一、 概述 持续集成交付，是自动化的重要一环，本文主要介绍代码更新后自动构建、发布上线。 1、 安装gitlab 下载地址： https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/ 选择自己需要的版本。 # rpm -ivh
阅读全文
摘要：Pmm监控 1、概述 Pmm是（percona management and monitoring）一款用于数据库（mysql、mongodb）的监控工具，是一种典型的C/S架构。本次部署采用的是docker，pmm-server端包括数据汇集、展示等，pmm-client主要是部署在需要监控的服务
阅读全文
摘要：1、首先卸载原有的git yum remove git 2、源码安装新版本的git https://www.kernel.org/pub/software/scm/git/ 下载最新的版本，然后编译安装： tar xf git 2.8.6.tar.gz cd git 2.8.6 yum y inst
阅读全文
摘要：Hive On Spark 一、概述 Hive 是一种数据仓库，即是一种sql翻译器，hive可以将sql翻译成mapreduce程序在hadoop中去执行，默认支持原生的Mapreduce引擎。从hive1.1版本以后开始支持Spark。可以将sql翻译成RDD在spark里面执行。Hive支持的
阅读全文
摘要：Mongodb添加副本及修改优先级 1、添加副本集 #在primary节点上执行 >rs.add( { host: "192.168.1.11:27017", priority: 2 } ) #host：指定要添加的mongodb服务器的ip和端口 #priority：指定副本集的权限 移除节点：
阅读全文
摘要：Kafka-spark streaming 1、安装包 kafka安装需要zookeeper、jdk。 官网下载最新的： https://kafka.apache.org/downloads http://mirrors.hust.edu.cn/apache/zookeeper/ http://ww
阅读全文
