摘要：
题记部分 一、节点状态监控脚本（nodeStatusCheck.sh） 【脚本名称】nodeStatusCheck.sh 【监控规则】通过ping的方式监控集群节点状态，检查节点是否失联 【实现方式】crontab 【监控频率】*/10 * * * * （每隔十分钟监控一次） #!/bin/bash 阅读全文
摘要：
皮肤变白 纯色背景抠图 皮肤变白 图像 >> 应用图像 >> 通道:绿 >> 混合:滤色 >> 不透明度:50% 纯色背景抠图 # 选择选区,适用于背景为纯色的图片 选择 >> 主体 # 可以将背景抠掉 选择 >> 选择并遮住 >> 输出设置:净化颜色 >> 确定 # 将图片保存为PNG，可以实现放 阅读全文
摘要：
差旅注意事项 1、提前确认好差旅的目的地，根据当地近期的天气增减衣物以及确认是否携带便携小风扇或者雨具 2、确认什么时候出发（出发时间），从当前所在城市哪个车站（机场）出发（始发站），确认好几点从住所出门，通过什么交通方式耗费多久抵达出发地，准备好稳妥可行的PlanB。 3、确认差旅的目的（工作内容 阅读全文
摘要：
可视化编程 转换 步骤（Step） 跳（Hop） 元数据 数据类型 并行 作业 可视化编程 kettle 可以被归类为可视化编程语言（Visula Programming Languages，VPL），因为 Kettle可以使用图形化的方式定义复杂的ETL程序和工作流。 可视化编程一直是 Kettl 阅读全文
摘要：
Kettle下载页面：点这里 Kettle 版本：pdi-ce-9.4.0.0-343 流程概览 详细步骤 1、首先打开Kettle的Spoon.bat 2、在主对象树中选择转换 3、然后在核心对象的输入中找到CSV文件输入并拖拽到右侧的转换1中，在输出中找到Microsoft Excel outp 阅读全文
摘要：
题记部分 Windows 场景下 1、先使用管理员身份打开两个命令提示符窗口（winA和winB） 2、在命令提示符窗口winA中将MySQL服务停掉net stop mysql Microsoft Windows [版本 10.0.22621.1413] (c) Microsoft Corpora 阅读全文
摘要：
ETL简介 Kettle简介 transformation 和 job的区别 Kettle 的核心组件 Kettle 特点 Kettle 的目录说明 Kettle 的文件说明 ETL简介 ETL，Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程。 市面上常用的ETL工 阅读全文
摘要：
官网：https://flink.apache.org/ 一、Flink 是什么 是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布，数据通信以及容错机制等功能。 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。 是为分布式、高性能、随时空iji准确的流处理应用程序打 阅读全文
摘要：
关于torc、textfile、orc、es、hyperdrive表的CURD测试 TORC（支持事务的orc表）测试 TORC（分区表）测试 TEXTFILE 表测试 ORC 表测试 ES（ElasticSearch表）测试 hyperdrive 表测试 TORC（支持事务的orc表）测试 -- 阅读全文
摘要：
一、相关链接地址 Hive官网：https://hive.apache.org/ Hive下载页面：https://downloads.apache.org/hive/ 中科大镜像地址：http://mirrors.ustc.edu.cn/apache/hive/hive-3.1.2/ 清华大学镜像 阅读全文
摘要：
词频 Word Count 1、在浏览器上访问 https://node01:9870 2、创建目录 /user 目录 bin/hdfs dfs -mkdir /user 如果未配置环境变量，需要到hadoop安装目录下执行 /opt/module/hadoop-2.5.2（这个是我的安装目录） 3 阅读全文
摘要：
数据库三范式 1NF(First Normal Form):一个关系模式符合 1NF 的定义，则该关系模式是简单的。简单的意思就是不存在从属或重复的属性，即每个属性都是原子性的。 2NF(Second Normal Form):一个关系模式符合 2NF 的定义，则该关系模式是一致的。一致的意思就是不 阅读全文
摘要：
执行 sbin/start-dfs.sh 和 sbin/stop-dfs.sh 报错，且进程仍然在 start-dfs.sh和stop-dfs.sh会去hadoop-env.sh中找JDK的值，但是设置为 export JAVA_HOME=${JAVA_HOME}读不到值，必须指定为绝对路径。 参考 阅读全文
摘要：
在任意一个standby的NN节点执行 再次访问 ctos01:9870页面 阅读全文
摘要：
Zookeeper的分布式部署 >> Hadoop的分布式部署 一、集群规划 主机名 node01 node02 node03 JDK ○ ○ ○ Zookeeper ○ ○ ○ NameNode ○ ○ JournalNode ○ ○ ○ DataNode ○ ○ ○ ResourceManage 阅读全文