摘要: Hadoop+Hive 操作mongodb数据 1、版本概述 hadoop-2.7.3、hive-2.2 下载响应的jar包:http://mvnrepository.com/,直接搜索想要的jar包,例如本次安装需要的: mongo-hadoop-core-2.0.2.jar、mongo-hado 阅读全文
posted @ 2017-09-19 20:43 诗码者 阅读(2898) 评论(1) 推荐(0) 编辑
摘要: Gitlab+Jenkins+Hook 1、gitlab和jenkins的安装见: http://www.cnblogs.com/cuishuai/p/7544663.html http://www.cnblogs.com/cuishuai/p/7544775.html 2、gitlab配置 1)创 阅读全文
posted @ 2017-09-18 20:08 诗码者 阅读(380) 评论(0) 推荐(0) 编辑
摘要: 使用Jenkins配置Git+Maven的自动化构建 实现背景:Jenkins通过给定的代码地址URL,将代码拉取到其“宿主服务器”(就是Jenkins的安装位置),进行编译、打包和发布到容器中。在Jenkins的宿主服务器中必须要有可以进行:代码clone(Git)、代码编译(Maven)、代码运 阅读全文
posted @ 2017-09-18 19:35 诗码者 阅读(550) 评论(0) 推荐(0) 编辑
摘要: 搭建Gitlab 一、 概述 持续集成交付,是自动化的重要一环,本文主要介绍代码更新后自动构建、发布上线。 1、 安装gitlab 下载地址: https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/ 选择自己需要的版本。 # rpm -ivh 阅读全文
posted @ 2017-09-18 19:09 诗码者 阅读(891) 评论(0) 推荐(0) 编辑
摘要: Pmm监控 1、概述 Pmm是(percona management and monitoring)一款用于数据库(mysql、mongodb)的监控工具,是一种典型的C/S架构。本次部署采用的是docker,pmm-server端包括数据汇集、展示等,pmm-client主要是部署在需要监控的服务 阅读全文
posted @ 2017-09-15 20:49 诗码者 阅读(2231) 评论(0) 推荐(0) 编辑
摘要: 1、首先卸载原有的git yum remove git 2、源码安装新版本的git https://www.kernel.org/pub/software/scm/git/ 下载最新的版本,然后编译安装: tar xf git 2.8.6.tar.gz cd git 2.8.6 yum y inst 阅读全文
posted @ 2017-09-08 20:31 诗码者 阅读(491) 评论(0) 推荐(0) 编辑
摘要: Hive On Spark 一、概述 Hive 是一种数据仓库,即是一种sql翻译器,hive可以将sql翻译成mapreduce程序在hadoop中去执行,默认支持原生的Mapreduce引擎。从hive1.1版本以后开始支持Spark。可以将sql翻译成RDD在spark里面执行。Hive支持的 阅读全文
posted @ 2017-09-08 20:12 诗码者 阅读(898) 评论(0) 推荐(0) 编辑
摘要: Mongodb添加副本及修改优先级 1、添加副本集 #在primary节点上执行 >rs.add( { host: "192.168.1.11:27017", priority: 2 } ) #host:指定要添加的mongodb服务器的ip和端口 #priority:指定副本集的权限 移除节点: 阅读全文
posted @ 2017-09-04 20:07 诗码者 阅读(2345) 评论(0) 推荐(0) 编辑
摘要: Kafka-spark streaming 1、安装包 kafka安装需要zookeeper、jdk。 官网下载最新的: https://kafka.apache.org/downloads http://mirrors.hust.edu.cn/apache/zookeeper/ http://ww 阅读全文
posted @ 2017-09-04 20:03 诗码者 阅读(382) 评论(0) 推荐(0) 编辑
摘要: while循环1、输出打印以#组成的长方形,自己定义长和宽。# -*-encoding:utf-8-*-'''This is script for start docker containor!Auth: cuishuai'''height = int(input("Height:"))width 阅读全文
posted @ 2017-07-26 23:21 诗码者 阅读(730) 评论(0) 推荐(0) 编辑