2020年6月10日
10.DataNode
摘要： 一、DataNode工作机制 一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件：一个是数据本身，另一个是元数据包括数据块的长度、块数据校验和，以及时间戳。 DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。 心跳是每3秒一次 阅读全文
posted @ 2020-06-10 09:53 loading--- 阅读(122) 评论(0) 推荐(0) 编辑
09.NameNode和SecondaryNameNode
摘要： 一、NN和2NN的工作机制 NameNode元数据的存储： NameNode中存储的元数据经常需要被随机访问，还要响应客户请求，这样效率必然会很低。因此，元数据需要存放在内存中，但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又会带来 阅读全文
posted @ 2020-06-10 09:52 loading--- 阅读(182) 评论(0) 推荐(0) 编辑
08.HDFS读写流程
摘要： 一、HDFS写数据流程 1.1 剖析文件写入 HDFS写数据流程，如图所示： 客户端通过DIstributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否存在，父目录是否存在 NameNode返回是否可以上传 客户端对上传文件进行拆分为块，客户端请求第一 阅读全文
posted @ 2020-06-10 09:50 loading--- 阅读(160) 评论(0) 推荐(0) 编辑
07.HDFS概述和Shell、API操作
摘要： 一、HDFS概述 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种 1.1 HDFS定义 HDFS (Hadoop Distrib 阅读全文
posted @ 2020-06-10 09:48 loading--- 阅读(270) 评论(0) 推荐(0) 编辑
06.Hadoop运行模式
摘要： 一、本地运行模式 1.1 官方Grep案例 ① 创建在hadoop-2.7.2文件下面创建一个input文件夹 [root@hadoop103 hadoop-2.7.2]# mkdir input ② 将Hadoop的xml配置文件复制到input [root@hadoop103 hadoop-2. 阅读全文
posted @ 2020-06-10 09:45 loading--- 阅读(188) 评论(0) 推荐(0) 编辑
2019年11月6日
05.Hadoop概述
摘要： 1 Hadoop是什么？ 1. 是一个由 基金会所开发的分布式系统基础架构 2. 主要解决，海量数据的存储和海量数据的分析计算问题。 3. 广义上来说， 通常是指一个更广泛的概念—— 。 2 Hadoop的三大发行版本 | 发行版本名 | 特点 | | | | | | 版本是最原始（最基础）的版本， 阅读全文
posted @ 2019-11-06 15:43 loading--- 阅读(114) 评论(0) 推荐(0) 编辑
04.大数据概述
摘要： ​ 大数据( )：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 ​ 主要解决：海量数据的存储和海量数据的分析能力。 ​ 按顺序给出数据存储单位： 、`TB、PB、EB ZB、YB 阅读全文
posted @ 2019-11-06 11:01 loading--- 阅读(197) 评论(0) 推荐(0) 编辑
Redis的使用
摘要： 一、Redis的安装 1、安装C语言编译环境： 2、解压 ：`tar zxvf redis 4.0.2.tar.gz C /opt` 3、修改 编译后的路径(修改解压目录 ): 4、编译 进去 的解压目录: 5、定制配置项启动 ​ 复制 ：`cp /opt/redis 4.0.2/redis.con 阅读全文
posted @ 2019-11-06 10:59 loading--- 阅读(223) 评论(0) 推荐(0) 编辑
2019年11月5日
Git（二）
摘要： 三、分支管理 1.创建和合并分支 ①图解 ​ 每次提交， 都会把它们串成一条时间线。这条时间线就是一个分支。截至到目前，只有一条时间线，在 里，这个分支叫主分支，即 分支。 严格来说不是指向提交，而是指向 ，`master HEAD`指向的就是当前分支。 ​ 一开始的时候， 分支是一条线， 用`ma 阅读全文
posted @ 2019-11-05 16:10 loading--- 阅读(151) 评论(0) 推荐(0) 编辑
Git（一）
摘要： 一、Git和Svn的对比 ​ 是分布式版本控制系统，而 是集中式版本控制系统，那么两者有什么区别呢？ ​ 先说集中式版本控制系统，版本库是集中存放在中央服务器的，而干活的时候，用的都是自己的电脑，所以要先从中央服务器取得最新的版本，然后开始干活，干完活了，再把自己的活推送给中央服务器。中央服务器就好 阅读全文
posted @ 2019-11-05 16:08 loading--- 阅读(220) 评论(0) 推荐(0) 编辑
2019年11月4日
SpringBoot与日志
摘要： 一、日志框架 ​ 1、市面上的日志框架： 、`JCL Apache Jboss logging logback log4j log4j2 slf4j`.... | 日志门面（日志抽象层） | 日志实现 | | | | | ~~ （`Jakarta Commons Logging Apache jbo 阅读全文
posted @ 2019-11-04 15:34 loading--- 阅读(216) 评论(0) 推荐(0) 编辑
2019年11月1日
SpringBoot与数据访问
摘要： 1、JDBC ​ 默认使用的数据是 ,`SpringBoot org.apache.tomcat.jdbc.pool.DataSource、HikariDataSource、BasicDataSource spring.datasource.type`属性即可。 ​ 在 目录下，创建 的建表语句，在 阅读全文
posted @ 2019-11-01 15:37 loading--- 阅读(131) 评论(0) 推荐(0) 编辑
2019年10月31日
ora-01440:要减小精度或标度，则要修改的列必须为空
摘要： 修改cell表所有面积相关字段的小数位数为2 UPDATE gfm_rp_cell t SET t.DEC_LEN=2 WHERE t.FIELD_CN_NAME LIKE '%面积%'; 创建临时表来存储原数据，并删除表数据 CREATE TABLE gfm_bs_asset_facility_b 阅读全文
posted @ 2019-10-31 09:58 loading--- 阅读(1015) 评论(0) 推荐(0) 编辑
2019年10月24日
03.虚拟机准备
摘要： 1、VmWare中创建虚拟机，内存2G，硬盘50G,自定义磁盘：【/boot :200M；/swap :2g / :剩余，swap选择文件类型为swap】。 2、关闭防火墙 3、设置静态IP 准备：CentOS7默认网卡为ens33，修改成CentOS6的默认网卡eth0的方法 注：若vim未安装， 阅读全文
posted @ 2019-10-24 17:26 loading--- 阅读(112) 评论(0) 推荐(0) 编辑
02.Shell编程
摘要： 1、Shell概述 Shell是一个命令行解释器，它接收应用程序/用户命令，然后调用操作系统内核。Shell还是一个功能相当强大的编程语言，易编写、易调试、灵活性强。 ​ 2、Shell解析器 ① Linux提供的Shell解析器 ② sh和bash的关系 ​ 可以看出sh是bash的软连接 ③ C 阅读全文
posted @ 2019-10-24 17:24 loading--- 阅读(254) 评论(0) 推荐(0) 编辑