摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、Druid 部署 ### 下载Druid版本包并解压版本包 ~~~ # 下载 Druid 安装包、并解压缩: ~~~ # Druid官网:https://druid.apache.org/ [root@hadoop01 ~]# cd /opt/yanqi/software/ ~~~ # 官网源下
阅读全文
摘要:一、集群部署 ### 环境资源说明 ~~~ 虚拟机每个节点2core、3G ~~~ DeepStorage:Hadoop 2.9.2 ### 部署规划:集群部署采用的分配如下 ~~~ 主节点部署 Coordinator 和 Overlord进程 ~~~ 数据节点运行 Historical 和 Mid
阅读全文
摘要:一、使用JDBC连接操作Kylin ### 使用JDBC连接操作Kylin ~~~ 要将数据以可视化方式展示出来,需要使用Kylin的JDBC方式连接执行SQL,获取Kylin的执行结果 ~~~ 使用Kylin的JDBC与JDBC操作MySQL一致 ~~~ jdbc url:jdbc:kylin:/
阅读全文
摘要:一、OLAP环境准备 ### OLAP环境准备 ~~~ # 进入服务部署目录 [root@hadoop02 ~]# cd /opt/yanqi/servers/ ~~~ # coordinator [root@hadoop02 servers]# cp -r kylin-3.1.1/ kylin-3
阅读全文
摘要:一、高可用配置:spark standalone集群配置 ### 修改 spark-env.sh 文件,并分发到集群中 [root@hadoop01 ~]# vim $SPARK_HOME/conf/spark-env.sh # export SPARK_MASTER_HOST=hadoop01 #
阅读全文
摘要:一、Kylin安装环境准备:依赖环境 软件 版本 Hive 2.3.7 Hadoop 2.9.2 HBase 1.3.1 Zookeeper 3.4.14 Kafka 1.0.2 Spark 2.4.5 二、集群规划 server Hadoop01 hadoop02 hadoop03 HDFS Na
阅读全文
摘要:一、集群模式--Standalone模式 ### 检查集群状态 ~~~ # 启动服务 [root@hadoop01 ~]# start-dfs.sh [root@hadoop01 ~]# start-yarn.sh [root@hadoop01 ~]# start-all-spark.sh ~~~
阅读全文
摘要:一、History Server配置 ### History Server ~~~ # 配置服务的history server:spark-defaults.conf [root@hadoop01 ~]# vim $SPARK_HOME/conf/spark-defaults.conf # hist
阅读全文
摘要:一、spark安装 ### 下载软件解压缩, ~~~ # 下载spark版本包 [root@hadoop01 software]# wget https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-without-hadoo
阅读全文
摘要:一、HBase shell 基本操作 ### 进入Hbase客户端命令操作界面 ~~~ # 进入hbase客户端 [root@hadoop01 ~]# hbase shell ~~~ # 查看帮助命令 hbase(main):004:0> help ~~~ # 查看当前数据库有哪些表 hbase(m
阅读全文
摘要:一、集群搭建:搭建设计 ### 分配三台Linux,用于安装拥有三个节点的Kafka集群。 Hadoop01 192.168.1.121 Hadoop02 192.168.1.122 Hadoop03 192.168.1.123 一、部署kafka集群:配置hosts文件 ### 以上三台主机的/e
阅读全文
摘要:一、HBase集群安装部署 ### 下载安装包 ~~~ # 下载HBase版本包 [root@hadoop01 software]# wget http://archive.apache.org/dist/hbase/1.3.1/hbase-1.3.1-bin.tar.gz ### 解压安装包到指定
阅读全文
摘要:一、安装和运行 ### 安装前提和准备 ~~~ # 硬件: ~~~ 一台或者多台机器跑kudu-master。 ~~~ 建议跑一个master(无容错机制)、 ~~~ 三个master(允许一个节点运行出错)或者五个master(允许两个节点出错)。 ~~~ 一台或者多台机器跑kudu-tserve
阅读全文
摘要:一、ClickHouse链接Kafka ### ClickHouse链接Kafka:此引擎与 Apache Kafka 结合使用。 ~~~ # Kafka 特性: ~~~ 发布或者订阅数据流。 ~~~ 容错存储机制。 ~~~ 处理流数据。 ### 链接语法格式 ~~~ # 老版格式: Kafka(k
阅读全文
摘要:一、JDBC ### ClickHouse链接JDBC ~~~ 允许CH通过 JDBC 连接到外部数据库。 ~~~ 要实现JDBC连接,CH需要使用以后台进程运行的程序 clickhouse-jdbc-bridge。 ~~~ 该引擎支持 Nullable 数据类型。 ### 建表语法 CREATE
阅读全文
摘要:一、ClickHouse链接mysql ### mysql说明 ~~~ MySQL 引擎可以对存储在远程 MySQL 服务器上的数据执行 SELECT 查询。 ### 调用格式: MySQL('host:port', 'database', 'table', 'user', 'password'[,
阅读全文
摘要:一、JBOD策略 ### 配置方式在config.xml配置文件中指定: ~~~ # 在集群主机上config.xml配置JBOD策略 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml ~~~ 在config.xml文件最后一行:</y
阅读全文
摘要:一、HOT/COLD策略 ### 配置方式在config.xml配置文件中指定: ~~~ # 在集群主机上config.xml配置JBOD策略 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml ~~~ 在config.xml文件最后一行
阅读全文