摘要: K8s MySQL实现数据持久化 K8S(四)——部署master节点服务 在master执行 yum -y install nfs-utils rpcbind mkdir /nfsdata/mysql -p echo /nfsdata *(rw,no_root_squash,sync) > /et 阅读全文
posted @ 2022-09-13 16:46 三里清风18 阅读(792) 评论(0) 推荐(0) 编辑
摘要: Docker 指南 Docker:虚拟机挂起后,再启动docker容器连接失败 Docker:虚拟机挂起后,再启动docker容器连接失败 注意事项:挂起时注意选择挂起而不是挂起客户机,(挂起客户机容易导致docker镜像连接失败) vi /usr/lib/sysctl.d//00-system.c 阅读全文
posted @ 2022-09-13 16:24 三里清风18 阅读(20) 评论(0) 推荐(0) 编辑
摘要: docker容器日志占用磁盘空间过大问题 # 查出占用磁盘较大的文件-升序 du -d1 -h /var/lib/docker/containers | sort -h 控制容器日志大小 法一:运行时控制 # max-size:容器日志最大100M # max-file:最大日志数3个( ex: * 阅读全文
posted @ 2022-09-13 16:24 三里清风18 阅读(119) 评论(0) 推荐(0) 编辑
摘要: docker可视化工具Portainer部署与汉化 为了更好的观察Docker运行状态,我们采用Portainer工具进行可视化,下面是部署过程总结: 环境: Liunx:CentOS Linux release 7.6.1810 (Core) Docker:19.03.5(备注:默认版本存在问题, 阅读全文
posted @ 2022-09-13 16:22 三里清风18 阅读(1596) 评论(0) 推荐(0) 编辑
摘要: docker官网地址 docker官网地址 https://www.docker.com/ docker启动命令,docker重启命令,docker关闭命令 启动 systemctl start docker 守护进程重启 systemctl daemon-reload 重启docker服务 sys 阅读全文
posted @ 2022-09-13 16:22 三里清风18 阅读(5065) 评论(0) 推荐(0) 编辑
摘要: docker 镜像网址 https://hub.docker.com/search?q=&type=image https://hub.docker.com/ 后续 阅读全文
posted @ 2022-09-13 16:22 三里清风18 阅读(12) 评论(0) 推荐(0) 编辑
摘要: xxx docker 安装 clickhouse单机版 默认已经安装好Docker, 尚未安装docker的可以参考这篇: Ubuntu安装Docker 直接运行, docker会自动帮你拉取镜像: docker run -d --name ch-server --ulimit nofile=262 阅读全文
posted @ 2022-09-13 16:20 三里清风18 阅读(171) 评论(0) 推荐(0) 编辑
摘要: Docker 部署 Mysql 8.0 并设置数据持久化 创建目录 创建 my.cnf 文件 创建初始化 SQL 脚本 启动 Mysql 容器 方法1:docker run 方法2:docker-compose 远程连接数据库测试 创建目录 创建项目目录 mkdir -p /home/workspa 阅读全文
posted @ 2022-09-13 16:20 三里清风18 阅读(1576) 评论(0) 推荐(0) 编辑
摘要: Docker-compose 常用命令 https://blog.csdn.net/qq_42267173/article/details/124687804 文档地址: 官方文档:https://docs.docker.com/compose/reference/overview/ docker- 阅读全文
posted @ 2022-09-13 16:20 三里清风18 阅读(545) 评论(0) 推荐(0) 编辑
摘要: DataEase DataEase 的技术栈 前端:Vue.js、Element 图库:Apache ECharts、AntV 后端:Spring Boot 中间件:MySQL 数据处理:Kettle、Apache Doris 基础设施:Docker 快速开始 在线体验 环境地址:https://d 阅读全文
posted @ 2022-09-13 15:56 三里清风18 阅读(1851) 评论(0) 推荐(0) 编辑
摘要: spark参数调优 1.num-executors 参数说明:该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时,YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上,启动相应数量的Executor进程。这个参数非常之重要,如 阅读全文
posted @ 2022-09-13 15:54 三里清风18 阅读(75) 评论(0) 推荐(0) 编辑
摘要: Flink性能调优 1、资源配置调优 ​ Flink性能调优的第一步,就是为任务分配合适的资源,在一定范围内,增加资源的分配与性能的提升是成正比的,实现了最优的资源配置后,在此基础上再考虑进行后面论述的性能调优策略。 提交方式主要是yarn-per-job,资源的分配在使用脚本提交Flink任务时进 阅读全文
posted @ 2022-09-13 14:56 三里清风18 阅读(843) 评论(0) 推荐(0) 编辑
摘要: Mongo Spark Connector Spark SQL The following code snippets can be found in SparkSQL.scala. Prerequisites Have MongoDB up and running and Spark 2.2.x 阅读全文
posted @ 2022-09-13 14:53 三里清风18 阅读(53) 评论(0) 推荐(0) 编辑
摘要: Presto、Spark SQL、Hive的比较 1.Presto Presto只有计算分析能力但可以连接多种数据源,包括Hive,Oracle,MySQL,Kafka,MongoDB,Redis等,并且可以将多个不同数据源进行联合分析。可以通过show catalogs 命令看到Presto连接的 阅读全文
posted @ 2022-09-13 14:53 三里清风18 阅读(934) 评论(0) 推荐(0) 编辑
摘要: 大数据常用软件安装指南 为方便大家查阅,本仓库所有软件的安装方式单独整理如下: 一、基础软件安装 Linux 环境下 JDK 安装 Linux 环境下 Python 安装 虚拟机静态 IP 及多 IP 配置 二、Hadoop Hadoop 单机环境搭建 Hadoop 集群环境搭建 基于 Zookee 阅读全文
posted @ 2022-09-13 14:52 三里清风18 阅读(72) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2022-09-13 14:52 三里清风18 阅读(36) 评论(0) 推荐(0) 编辑
摘要: 大数据学习路线 一、大数据处理流程 1.1 数据收集 1.2 数据存储 1.3 数据分析 1.4 数据应用 1.5 其他框架 二、学习路线 2.1 语言基础 2.2 Linux 基础 2.3 构建工具 2.4 框架学习 三、开发工具 四、结语 一、大数据处理流程 上图是一个简化的大数据处理流程图,大 阅读全文
posted @ 2022-09-13 14:50 三里清风18 阅读(67) 评论(0) 推荐(0) 编辑
摘要: 大数据应用常用打包方式 一、简介 二、mvn package 三、maven-assembly-plugin插件 四、maven-shade-plugin插件 五、其他打包需求 1. 使用非Maven仓库中的Jar 2. 排除集群中已经存在的Jar 3. 打包Scala文件 一、简介 在提交大数据作 阅读全文
posted @ 2022-09-13 14:50 三里清风18 阅读(55) 评论(0) 推荐(0) 编辑
摘要: 这里分享一些自己学习过程中觉得不错的资料和开发工具。 :book: 经典书籍 《hadoop 权威指南 (第四版)》 2017 年 《Kafka 权威指南》 2017 年 《从 Paxos 到 Zookeeper 分布式一致性原理与实践》 2015 年 《Spark 技术内幕 深入解析 Spark 阅读全文
posted @ 2022-09-13 14:49 三里清风18 阅读(20) 评论(0) 推荐(0) 编辑
摘要: 数据仓库实战合集 基于Hadoop的数据仓库Hive基础知识 阿里云10 PB+/天的日志系统设计和实现 DB、DW、DM、ODS、OLAP、OLTP和BI的概念理解 从0建设离线数据仓库 OLTP与OLAP的区别精简总结 Apache Phoenix系列 | 真 · 从入门到精通 大数据平台演进之 阅读全文
posted @ 2022-09-13 14:46 三里清风18 阅读(11) 评论(0) 推荐(0) 编辑