摘要：
数据搬运组件：基于Sqoop管理数据导入和导出 本文源码：GitHub || GitEE 一、Sqoop概述 Sqoop是一款开源的大数据组件，主要用来在Hadoop(Hive、HBase等)与传统的数据库(mysql、postgresql、oracle等)间进行数据的传递。 通常数据搬运的组件基本 阅读全文
摘要：
一、配置详解 场景描述：MySQL数据表以全量和增量的方式向ElasticSearch搜索引擎同步。 1、下载内容 elasticsearch 版本 6.3.2 logstash 版本 6.3.2 mysql-connector-java-5.1.13.jar 2、核心配置 路径：/usr/loca 阅读全文
摘要：
一、PostgreSQL简介 1、数据库简介 PostgreSQL是一个功能强大的开源数据库系统，具有可靠性、稳定性、数据一致性等特点，且可以运行在所有主流操作系统上，包括Linux、Unix、Windows等。PostgreSQL是完全的事务安全性数据库，完整地支持外键、联合、视图、触发器和存储过 阅读全文
摘要：
一、ClickHouse简介 1、基础简介 Yandex开源的数据分析的数据库，名字叫做ClickHouse，适合流式或批次入库的时序数据。ClickHouse不应该被用作通用数据库，而是作为超高性能的海量数据快速查询的分布式实时处理平台，在数据汇总查询方面(如GROUP BY)，ClickHous 阅读全文
摘要：
一、FastDFS简介 1、基础概念 FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件上传、文件下载等，解决了大容量存储和负载均衡的问题。 2、环境概览 1、默认存在Gcc编译环境，Centos7虚拟机2、安装LibFastCommon环境3、Fa 阅读全文
摘要：
一、中间件简介 1、基础概念 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。 2、分布式数 阅读全文
摘要：
一、简介和下载 1、Zookeeper简介 Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，但是 Zookeeper 并不是用来专门存储数据的，它的作用主要是用来维护和监控你存储的数据的状态变化。 2、 阅读全文
摘要：
一、环境搭建 环境版本 centos7jdk1.8 已搭建好rocketmq4.3 1、下载安装包 网址 https://www.apache.org/dyn/closer.cgi?path=rocketmq/4.3.2/rocketmq-all-4.3.2-bin-release.zip# We 阅读全文
摘要：
一、环境和版本 1、Linux：centos7 三台 三台Linux服务192.168.72.129192.168.72.130192.168.72.131Redis：redis-4.0.14 二、上传Redis软件 1、创建软件目录 [root@localhost local]# cd /usr/ 阅读全文
摘要：
1、上传文件解压 [root@localhost mysoft]# tar -zxvf jdk-8u161-linux-x64.tar.gz[root@localhost mysoft]# pwd/usr/local/mysoft[root@localhost mysoft]# mv jdk1.8. 阅读全文
摘要：
一、目录指令 1、创建目录make directory mkdir 目录名称 //mkdir spring,创建一个spring文件夹mkdir -p file/file/file //递归创建多级别关系目录mkdir dir/newdir //不使用递归mkdir -p dir/newdir/ne 阅读全文