随笔分类 - 工具
分享好用的软件
摘要：设置快捷键的原因 近期在梳理Spark ，为了便于获取上下文对象：即以下代码 //获取 SparkConf 并设置应用名称*本地模式 val conf: SparkConf = new SparkConf().setAppName("Spark").setMaster("local[8]") //获
阅读全文
摘要：问题场景 今天在装 hbase ，刚配置环境变量source 后 发现常用的命令都无法使用了 [hui@hadoop201 ~]$ ll -bash: ls: command not found [hui@hadoop201 ~]$ ls -bash: ls: command not found 问
阅读全文
摘要：PrettyZoo下载安装 下载 PrettyZoo是一款基于 Apache Curator 和 JavaFX 实现的 Zookeeper 图形化管理客户端。颜值很高，使用方便，非常推荐童鞋们使用。 下载地址 https://github.com/vran-dev/PrettyZoo/release
阅读全文
摘要：Lambda expressions are not supported at language level '5' 解决方案 1. 打开 File --> Project Stucture 选择项目设置Lanugage level， 如图所示 这里设置改下 2. 打开 File --> Setti
阅读全文
摘要：1、Zookeeper 内部原理 1.1、Zookeeper 内部选举机制 （1）服务器1启动，此时只有它一台服务器启动了，它发出去的报文没有任何响应，所以它的选举状态一直是 LOOKING状态。 （2）服务器2启动，它与最开始启动的服务器1进行通信，互相交换自己的选举结果，由于两者都没有历史数据，
阅读全文
摘要：1、Zookeeper 概述 1.1、概述 Zookeeper 是一个开源的分布式的，为分布式应用提供协调服务的 Apache 项目 工作机制 Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的
阅读全文
摘要：一、概述 DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 DataX 设计 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成
阅读全文
摘要：日期 20220209 场景 由于习惯使用 locate 查找文件，今天在主机上找文件的时候使用 locate 报错了，提示命令找不到：如下 locate my.cnf -bash: locate: command not found 解决 安装 mlocate sudo yum -y instal
阅读全文
摘要：今天整理下最近使用flume 案例一：过滤非JSON数据 使用 flume 监控日志文件传到 kafka,由于业务需要只需要将日志里的 json 数据发送到 Kafka 即可，非 json 数据直接进行过滤。 1、pom.xml <build> <plugins> <plugin> <groupId
阅读全文
摘要：如图：这一段时间每次要打包的时候就找不到 maven 对话框，好气呀 下面介绍一个快捷键 Ctrl+Shift+A 然后在弹出的框框里输入 maven 再回车 即可
阅读全文
摘要：今天启动kafka 后 发现只有一个节点启动成功，另两个节点启动失败，查看日志如下 经多方查验，原来是之前未正常关闭服务导致 解决方案 根据日志提示，我们需要手动删除每个partition下的 两个索引文件， 重新启动集群，kafka会自动重建索引文件 find /opt/module/kafka/
阅读全文
摘要：问题场景 今天在给环境装插件的时候，yum 提示报错如图： 经过查询发现是自己的 yum 源有问题 处理方案 //删除yum.repos.d目录下所有文件 rm -f /etc/yum.repos.d /* // 重新下载 wget -O /etc/yum.repos.d/CentOS-Base.r
阅读全文
摘要：今天安装 superset 报错了：如下 解决方案： pip install dataclasses 问题已解决
阅读全文
摘要：环境 centos7 由于学习需要在 主机装 python3.6 ,采用 Miniconda 安装多版本，但是在下载安装包时报错了 HTTPError: HTTP 000 CONNECTION FAILED for url <https://mirrors.tuna.tsinghua.edu.cn/
阅读全文
摘要：问题描述： 前一阵子搭了一个环境，今天打开 无法链接，命令窗口输入 ip addr 如图 处理方式、先停止网卡，设置disable，然后启动，发现网卡启动了 1、systemctl stop NetworkManager 2、systemctl disable NetworkManager 3、 s
阅读全文
摘要：1、Docker是怎么工作的？ Docker是一个Client-Server结构的系统，Docker守护进程运行在主机上， 然后通过Socket连接从客户端访问，守护进程从客户端接受命令并管理运行在主机上的容器。 容器，是一个运行时环境，就是我们前面说到的集装箱。 2、为什么Docker比较比VM快
阅读全文
摘要：1、简介 为什么使用阿里云镜像加速器? 通常在国内使用Docker，是需要从Docker官网去拉取镜像的，但是官网是在国外的， 所以下载非常慢，或者都下载不了，总是报timeout连接失败错误，因此需要配置镜像的下载， 这个是docker操作首先要做的事情，通常使用以下两种方式。 2、、登录 阿里云
阅读全文
摘要：上篇对 docker 作了简单介绍，现在就开始安装 docker 吧； 1、安装之前首先声明下本人环境信息； centos 7 64 bit 2、建议安装前先卸载 旧版本 dockers，即使系统未安装 dockers 也建议执行一下，以免安装时出现不必要的错误； yum remove docker
阅读全文
摘要：一、Docker 是什么 为什么会有 docker ? 一款产品从开发到上线，从操作系统，到运行环境，再到应用配置。作为开发+运维之间的协作需要特别关注很多东西，这也是很多互联网公司都不得不面对的问题，特别是各种版本的迭代之后，不同版本环境的兼容，加大了对运维人员都是考验。Docker之所以发展如此
阅读全文
摘要：Mybatis 是一款优秀的 ORM 框架，但是在 IDEA 工具使用时并未自带 MAPPER 文件模板，需要手工添加，接下来就一起在 IDEA 中创建一个 MAPPER 文件模板吧； 1、打开 IDEA ，右键 new-->Edit File Template 2、点击 + ，输入此模板名称 3、
阅读全文
