摘要:
Presto简介 Presto概念 Presto是一个开源的分布式SQL查询引擎,数据量支持GB到PB字节,主要用来处理秒级查询的场景。 注意:虽然Presto可以解析SQL,但它不是一个标准的数据库。不是MySQL、Oracle的代替品,也不能直接用来处理在线事务(OLTP) Presto架构 P 阅读全文
摘要:
杂记 Typora 上传图片到博客园 import requests import json from sys import argv uploadUrl = 'https://upload.cnblogs.com/imageuploader/processupload?host=www.cnblo 阅读全文
摘要:
Spark StandAlone模式和On Yarn模式搭建 Spark StandAlone模式 上传并解压 tar -zxvf spark-3.0.2-bin-hadoop3.2.tgz -C /data/soft/ 修改配置文件 # 进入conf文件夹目录 cd /data/soft/spar 阅读全文
摘要:
MySQL 主主复制+KeepAlive实现高可用 1. 环境搭建 节点ip 角色 192.168.147.102 Master1 192.168.147.103 Master2 192.168.147.150 虚拟ip 2. MySQL主主环境搭建 2.1 MySQL的安装 2.1.1 MySQL 阅读全文
摘要:
1. 环境搭建 Elastic Search 7.6.2 Kibana7.6.2 FileBeat 7.6.2 Nginx AB Test 国内加速镜像站:华为云mirror(https://repo.huaweicloud.com/elasticsearch/7.6.2/) nginx rpm 方 阅读全文
摘要:
DataGrip是JetBrain公司出品的一款数据库客户端连接工具,可以支持丰富的数据库连接。比如常见的MySQL SQL Server、MongoDB等。 1. 启动hadoop及hive集群 nohup hiveserver2 1>/dev/null 2>/dev/null & 2.下载hiv 阅读全文
摘要:
1. Elastic Search 集群搭建 1.1 环境准备 ip规划角色节点名称集群名称 192.168.21.107 Master node-1 es-cluster 192.168.21.108 Slave1 node-2 es-cluster 192.168.21.109 Slave2 N 阅读全文
摘要:
1.Kylin下载和安装 1.1 Kylin下载 Kylin 下载地址 慢速度:https://archive.apache.org/dist/kylin/ 快速度:https://repo.huaweicloud.com/apache/kylin/ 1.2 Kylin安装 Kylin解压 tar 阅读全文
摘要:
1. Zeppelin下载及安装 1.1 安装环境 Cent os 7.5 Hadoop 3.2 Hive-3.1.2 Scala Spark-3.0.0-bin-hadoop3.2 Flink 1.13.2 Zeppelin 0.9.0 1.2 Zeppelin下载 Zeppelin 安装包下载地 阅读全文
摘要:
1. 环境搭建 1.1 资源规划 本次搭建一主两从分布式Kettle环境。资源规划情况如下表 ip角色 192.168.21.107 Master 192.168.21.108 Slave1 192.168.21.109 Slave2 1.2 软件环境 JDK 1.8 Cent os 7 PDI 8 阅读全文