06 2023 档案

摘要:差旅注意事项 1、提前确认好差旅的目的地,根据当地近期的天气增减衣物以及确认是否携带便携小风扇或者雨具 2、确认什么时候出发(出发时间),从当前所在城市哪个车站(机场)出发(始发站),确认好几点从住所出门,通过什么交通方式耗费多久抵达出发地,准备好稳妥可行的PlanB。 3、确认差旅的目的(工作内容 阅读全文
posted @ 2023-06-11 23:12 HOUHUILIN 阅读(34) 评论(0) 推荐(0) 编辑
摘要:可视化编程 转换 步骤(Step) 跳(Hop) 元数据 数据类型 并行 作业 可视化编程 kettle 可以被归类为可视化编程语言(Visula Programming Languages,VPL),因为 Kettle可以使用图形化的方式定义复杂的ETL程序和工作流。 可视化编程一直是 Kettl 阅读全文
posted @ 2023-06-09 22:35 HOUHUILIN 阅读(92) 评论(0) 推荐(0) 编辑
摘要:Kettle下载页面:点这里 Kettle 版本:pdi-ce-9.4.0.0-343 流程概览 详细步骤 1、首先打开Kettle的Spoon.bat 2、在主对象树中选择转换 3、然后在核心对象的输入中找到CSV文件输入并拖拽到右侧的转换1中,在输出中找到Microsoft Excel outp 阅读全文
posted @ 2023-06-09 22:06 HOUHUILIN 阅读(199) 评论(0) 推荐(0) 编辑
摘要:题记部分 Windows 场景下 1、先使用管理员身份打开两个命令提示符窗口(winA和winB) 2、在命令提示符窗口winA中将MySQL服务停掉net stop mysql Microsoft Windows [版本 10.0.22621.1413] (c) Microsoft Corpora 阅读全文
posted @ 2023-06-09 10:42 HOUHUILIN 阅读(432) 评论(0) 推荐(0) 编辑
摘要:ETL简介 Kettle简介 transformation 和 job的区别 Kettle 的核心组件 Kettle 特点 Kettle 的目录说明 Kettle 的文件说明 ETL简介 ETL,Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程。 市面上常用的ETL工 阅读全文
posted @ 2023-06-07 23:36 HOUHUILIN 阅读(107) 评论(0) 推荐(0) 编辑
摘要:官网:https://flink.apache.org/ 一、Flink 是什么 是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布,数据通信以及容错机制等功能。 是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算。 是为分布式、高性能、随时空iji准确的流处理应用程序打 阅读全文
posted @ 2023-06-07 17:14 HOUHUILIN 阅读(21) 评论(0) 推荐(0) 编辑
摘要:关于torc、textfile、orc、es、hyperdrive表的CURD测试 TORC(支持事务的orc表)测试 TORC(分区表)测试 TEXTFILE 表测试 ORC 表测试 ES(ElasticSearch表)测试 hyperdrive 表测试 TORC(支持事务的orc表)测试 -- 阅读全文
posted @ 2023-06-07 13:39 HOUHUILIN 阅读(143) 评论(0) 推荐(0) 编辑
摘要:一、相关链接地址 Hive官网:https://hive.apache.org/ Hive下载页面:https://downloads.apache.org/hive/ 中科大镜像地址:http://mirrors.ustc.edu.cn/apache/hive/hive-3.1.2/ 清华大学镜像 阅读全文
posted @ 2023-06-07 00:35 HOUHUILIN 阅读(56) 评论(0) 推荐(0) 编辑
摘要:词频 Word Count 1、在浏览器上访问 https://node01:9870 2、创建目录 /user 目录 bin/hdfs dfs -mkdir /user 如果未配置环境变量,需要到hadoop安装目录下执行 /opt/module/hadoop-2.5.2(这个是我的安装目录) 3 阅读全文
posted @ 2023-06-07 00:01 HOUHUILIN 阅读(72) 评论(0) 推荐(0) 编辑
摘要:数据库三范式 1NF(First Normal Form):一个关系模式符合 1NF 的定义,则该关系模式是简单的。简单的意思就是不存在从属或重复的属性,即每个属性都是原子性的。 2NF(Second Normal Form):一个关系模式符合 2NF 的定义,则该关系模式是一致的。一致的意思就是不 阅读全文
posted @ 2023-06-06 16:58 HOUHUILIN 阅读(7) 评论(0) 推荐(0) 编辑
摘要:执行 sbin/start-dfs.sh 和 sbin/stop-dfs.sh 报错,且进程仍然在 start-dfs.sh和stop-dfs.sh会去hadoop-env.sh中找JDK的值,但是设置为 export JAVA_HOME=${JAVA_HOME}读不到值,必须指定为绝对路径。 参考 阅读全文
posted @ 2023-06-06 01:48 HOUHUILIN 阅读(277) 评论(0) 推荐(0) 编辑
摘要:在任意一个standby的NN节点执行 再次访问 ctos01:9870页面 阅读全文
posted @ 2023-06-06 01:40 HOUHUILIN 阅读(204) 评论(0) 推荐(0) 编辑
摘要:Zookeeper的分布式部署 >> Hadoop的分布式部署 一、集群规划 主机名 node01 node02 node03 JDK ○ ○ ○ Zookeeper ○ ○ ○ NameNode ○ ○ JournalNode ○ ○ ○ DataNode ○ ○ ○ ResourceManage 阅读全文
posted @ 2023-06-06 01:19 HOUHUILIN 阅读(24) 评论(0) 推荐(0) 编辑
摘要:curl是什么 curl的作用 curl示例 curl是什么 音译科尔, 可以无需浏览器也可作为HTTP客户端发送请求。 可以在终端输入命令,也可以作为脚本传输数据 是跨平台的(Windows、Linux、Mac都支持) curl的作用 curl示例 # 基础语法(同样默认是get请求) curl 阅读全文
posted @ 2023-06-05 23:57 HOUHUILIN 阅读(52) 评论(0) 推荐(0) 编辑
摘要:出于对狂神的崇拜,总结SSM项目。 基本介绍 项目分层 基本介绍 项目名称:ssmbuild 介绍:通过书籍管理系统实现一个简单的SSM项目,可以作为其他Java Web项目的借鉴。 主要功能模块:查看所有书籍、新增书籍、修改书籍、删除书籍、查询书籍 项目环境:更多内容可以查看pom.xml中的组件 阅读全文
posted @ 2023-06-05 16:56 HOUHUILIN 阅读(30) 评论(0) 推荐(0) 编辑
摘要:参考:https://blog.csdn.net/chaoPerson/article/details/127014981 Ctrl + Shift + x 打开插件商店 open in browser,安装后,点击鼠标右键在菜单可在浏览器浏览 Chinese (Simplified) (简体中文) 阅读全文
posted @ 2023-06-02 10:33 HOUHUILIN 阅读(43) 评论(4) 推荐(0) 编辑
摘要:什么是HDFS HDFS的优缺点 HDFS的文件块大小 HDFS的写数据流程 HDFS的副本配置策略 HDFS读数据的流程 什么是HDFS HDFS(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器 阅读全文
posted @ 2023-06-01 23:06 HOUHUILIN 阅读(23) 评论(0) 推荐(0) 编辑
摘要:mklink /j C:\Users\lin_0421\Desktop\note D:\note 阅读全文
posted @ 2023-06-01 16:09 HOUHUILIN 阅读(8) 评论(0) 推荐(0) 编辑
摘要:Linux - 配置服务器之间SSH免密登录如果集群中服务器之间没有配置SSH免密,那么SSH访问其他服务器时就需要输入密码 一般都要设置密码强口令,又长又难记,就想配置一下SSH免密。 👇 👇 👇 👇 👇 👇 一、生成公钥和私钥 在ctos79-01执行如下命令,公钥(id_rsa.pub)和私钥(id_rsa)会在/root/ 阅读全文
posted @ 2023-06-01 14:48 HOUHUILIN 阅读(285) 评论(0) 推荐(0) 编辑
摘要:Missing election port for server: 2 【整理日期】2023年6月1日 【基础环境】JDK 1.8.0_372、Zookeeper 3.4.5 【问题描述】进行部署分布式,配置了myid、zoo.cfg等文件之后,执行 bin/zkServer.sh start 启动 阅读全文
posted @ 2023-06-01 14:01 HOUHUILIN 阅读(200) 评论(1) 推荐(0) 编辑
摘要:一、集群规划 序号 主机名 JDK Zookeeper 1 node01 ○ ○ 2 node02 ○ ○ 3 node03 ○ ○ 二、安装部署 1、将zookeeper安装包解压到合适的目录,如/opt/module/目录下 tar -zxvf zookeeper-x.x.x.tar.gz -C 阅读全文
posted @ 2023-06-01 09:33 HOUHUILIN 阅读(19) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示