摘要：
1、hadoop高可用安装和原理详解 2、hadoop2.7+spark2.2+zookeeper3.4.简单安装 3、windows下通过idea连接hadoop和spark集群 4、hadoop2.7之作业提交详解（上） 5、hadoop2.7之作业提交详解（下） 6、hadoop2.7作业提交 阅读全文
摘要：
1、VMware安装Centos7虚拟机 2、Linux之vim详解 3、linux后台运行的几种方式 4、linux权限管理 5、linux之用户和用户组管理详解 6、grep文本搜索工具详解 7、linux下实现并发逻辑 8、linux之压缩和解压 9、linux文件系统详解 10、linux之 阅读全文
摘要：
1、myslq5.7安装以及root密码找回 2、mysql之innodb存储引擎介绍 3、mysql之innodb存储引擎 数据存储结构 4、mysql之innodb存储引擎 BTREE索引实现 5、mysql之innodb日志管理 6、mysql备份和恢复 7、mysql之innodb-锁 8、 阅读全文
摘要：
pyflink安装 安装前提：python3.6-3.8 参考：Installation | Apache Flink Python version (3.6, 3.7 or 3.8) is required for PyFlink. Please run the following command 阅读全文
摘要：
一、介绍 HDFS metadata以树状结构存储整个HDFS上的文件和目录，以及相应的权限、配额和副本因子（replication factor）等。本文基于Hadoop2.6版本介绍HDFS Namenode本地目录的存储结构和Datanode数据块存储目录结构，也就是hdfs-site.xml 阅读全文
摘要：
maven安装 前提：安装了jdk（本环境已经安装了jdk） 下载地址：https://maven.apache.org/download.cgi wget https://dlcdn.apache.org/maven/maven-3/3.8.6/binaries/apache-maven-3.8. 阅读全文
摘要：
一、概述 目的：更加系统的熟悉磁盘和磁盘的基本操作 二、文件系统 2.1、硬盘的构成 从存储数据的介质上来区分，硬盘可分为机械硬盘（Hard Disk Drive, HDD）和固态硬盘（Solid State Disk, SSD），机械硬盘采用磁性碟片来存储数据，而固态硬盘通过闪存颗粒来存储数据 阅读全文
摘要：
一、datanode之间的数据平衡 1.1、介绍 Hadoop 分布式文件系统（Hadoop Distributed FilSystem），简称 HDFS，被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多的共同点。HDFS 是一个高容错性的文件系统，提供高吞吐量的数据 阅读全文
摘要：
一、磁盘选择策略 1.1、介绍 在HDFS中,所有的数据都是存在各个DataNode上的.而这些DataNode上的数据都是存放于节点机器上的各个目录中的,而一般每个目录我们会对应到1个独立的盘,以便我们把机器的存储空间基本用上.这么多的节点,这么多块盘,HDFS在进行写操作时如何进行有效的磁盘选择 阅读全文
摘要：
数据资产管理 声明：本文归属一寸HUI所有。@一寸HUI 在上一篇文章数据中台(架构篇)中了解到了数据中台的架构，其中我们一个很重要的部分就是要构建数据资产管理，这部分我们就来了解下什么什么数据资产，数据资产管理了什么。 数据资产管理介绍 1.定义 在明白数据资产管理之前，要明白管理的数据资产是什么 阅读全文
摘要：
声明：本文归属一寸HUI所有。@一寸HUI 在文章数据中台(架构篇)中了解到了数据中台的架构，其中我们一个很重要的部分就是要构建数据资产，而数据安全管理既是数据资产管理中不可或缺的一部分，又是信息安全管理的重要组成部分。 数据安全的挑战 企业内部挑战：从企业内部来说，一方面，大数据平台的安全管控能力 阅读全文
摘要：
声明：本文归属一寸HUI所有。@一寸HUI 在上一篇文章数据中台(架构篇)中了解到了数据中台的架构，其中，数据集成开发平台：数据集成开发平台能最高效地使用底层的组件和数据，提供从源数据到数据能力的转换。数据集成平台是数据中台数据接入的入口。数据中台本身几乎不产生数据，所有数据来自于业务系统、日志、文 阅读全文
摘要：
声明：本文归属一寸HUI所有。@一寸HUI 在上一篇文章数据中台(架构篇)中了解到了数据中台的架构，其中我们一个很重要的部分就是要构建数据资产，而数据资产中的元数据管理又是很重要的部分，接下来我们从几个方面了解元数据：搞懂什么是元数据？元数据和数据的区别是什么？元数据有什么作用？元数据可以用来做什么 阅读全文
摘要：
声明：本文归属一寸HUI所有。@一寸HUI 在上一篇文章数据中台(方法论篇)中主要介绍了建设数据中台要建设哪些内容、建设的步骤以及建设过程中需要遵循一定的规范并符合公司的战略。也提及到了阿里巴巴数据中台的全景图，有了上面的基础，现在更能方便的理解数据中台的架构了。先来回顾下数据中台的概念。 数据中台 阅读全文
摘要：
从上一篇文章数据中台(介绍篇)我们知道数据中台是什么，解决什么问题，有什么价值，要做些什么，接下来我们去了解下通过什么方法来指导实施数据中台。 数据中台既不是一项技术，也不是一款产品，而是一套方法论，或者说是企业的一套战略，其本质是企业运营思路和模式的转变。数据中台并不是购买一套产品就能实现的，成功 阅读全文
摘要：
公司在弄数据中台，所以结合实际去理解了下数据中台，本文归属一寸HUI所有。@一寸HUI ##数据中台是什么？ 数据中台是一套可持续“让企业的数据用起来”的机制，是一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建的一套持续不断把数据变成资产并服务于业务的 阅读全文
摘要：
###################ElasticSearch监控指标梳理########################### #author:lugh1 # #date:2021-09-26 # #description:ES监控指标 # ###################ElasticS 阅读全文
摘要：
随着收集额外数据并且现有数据的定期增长，数据仓库通常会随着时间的推移而不断增长。 有时，有必要增加数据库能力来联合不同的数据仓库到一个数据库中。 数据仓库也可能需要额外的计算能力（CPU）来适应新增加的分析项目。 在系统被初始定义时就留出增长的空间是很好的，但是即便用户预期到了高增长率，提前太多在资 阅读全文