关闭页面特效
04 2022 档案
shell大全定时清空文件内容，定时记录文件大小
摘要：#!/bin/bash ################################################################# 每小时执行一次脚本（任务计划），当时间为0点或12点时，将目标目录下的所有文件内#容清空，但不删除文件，其他时间则只统计各个文件的大小，一个文件
阅读全文
Shell 脚本大全之检测两台服务器指定目录下的文件一致性
摘要：#!/bin/bash ###################################### 检测两台服务器指定目录下的文件一致性 ##################################### #通过对比两台服务器上文件的md5值，达到检测一致性的目的 dir=/data/we
阅读全文
实时数据仓库建设方案详细（一）：数据仓库建设（下）
摘要：问题导读：1、常用的算法模型有哪些？ 2、如何对数据进行监控管理？ 3、大数据平台的数据服务是怎样的？ 1.5 数据分析建模 伴随着大数据时代的悄然来临,数据的价值得到人们的广泛认同,对数据的重视提到了前所未有的高度。数据已经作为企业、事业单位的重要资产被广泛应用于盈利分析与预测、客户关系管理、合规
阅读全文
实时数仓建设方案详细（一）：数据仓库建设（上）
摘要：问题导读：1、数据仓库的总体架构是怎样的？ 2、如何进行数据采集？ 3、数据是如何进行加工和处理的？1.1 数据仓库总体架构专家系统接收增购项目车辆TCMS或其他子系统通过车地通信传输的实时或离线数据，经过一系列综合诊断分析，以各种报表图形或信息推送的形式向用户展示分析结果。针对诊断出的车辆故障将给
阅读全文
Flink SQL 1.11新功能详解：Hive 数仓实时化 & Flink SQL + CDC 实践
摘要：问题导读1.Flink 1.11 有哪些新功能？ 2.如何使用 flink-cdc-connectors 捕获 MySQL 和 Postgres 的数据变更? 3.怎样利用 Flink SQL 做多流 join 后实时同步到 Elasticsearch 中？ 1 Flink 1.8 ~ 1.11 社
阅读全文
离线+实时数仓建设方案
摘要：大纲 一、数仓基本概念 1、数据仓库架构 我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。这里我们引用一段话：在软件行业，一种被普遍接受的架构定义是指系统的一个或多个结构。结构中包括软件的构建（构建是指软件的设计与实现），构建的外部可以看到
阅读全文
MongoDB安装（windows）
摘要：下载 .msi 文件，下载后双击该文件，按操作提示安装即可。安装过程中，你可以通过点击 "Custom(自定义)" 按钮来设置你的安装目录。 下一步安装 "install mongoDB compass" 不勾选（当然你也可以选择安装它，可能需要更久的安装时间），MongoDB Compass 是一
阅读全文
MongoDB安装（Linux）
摘要：这里我们选择 tgz 下载，下载完安装包，并解压 tgz（以下演示的是 64 位 Linux上的安装） 。 wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-ubuntu1604-4.2.8.tgz # 下载 tar -zxvf m
阅读全文
Linux安装Tomcat
摘要：一、安装 上传安装文件到服务器，假设目录为/usr/进入存放安装文件所在目录 cd /usr/ 解压tomcat,文件名字根据上传的tomcat版本号修改,可输入apache-tomcat之后按tab键自动补充tar -zxvf apache-tomcat-8.5.76.tar.gz 查看解压后的t
阅读全文
windows安装jdk8
摘要：win10系统安装jdk8全过程 一 下载安装文件 jdk的安装与配置是Java学习的第一步，下面记录一下具体过程。首先根据自己系统下载对应版本。下载地址http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-21
阅读全文
Linux安装jdk8
摘要：1.准备工作Linux系统环境上官网下载jdk压缩包https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 如果嫌官网下载慢的话可以选择国内大厂的jdk镜像网站下载速度很快，比如华为的：
阅读全文
Restcloud ETL安装部署手册
摘要：一、产品介绍 1.1. 产品概述 RestCloud ETL数据融合平台通过可视化的拖、拉、拽即可完成数据集成流程的构建并实现数据抽取、转换、清洗、脱敏、加载等功能,RestCloud ETL从架构、易用性、传输性能、可视化、 功能丰富性等方面均全面超越常见的开源ETL工具。通过容器化技术RestC
阅读全文
Restcloud ETL 快速入门
摘要：1. 登录 1.1打开浏览器，输入平台地址：http://IP:端口/restcloud/admin初始化管理员账号：admin 密码：pass1.2输入账号、密码登录进入平台，如下图： 2. 创建数据源 2.1在主界面点击数据源管理，进入创建数据源管理页面2.2点击新建数据源，弹出数据源创建选项2
阅读全文
实践数据湖iceberg 第五课 hive catalog特点
摘要：前言 不以完美记录做为目标。以记录自己学习过程为主线，进行记录，记录通过实践，来了解原理，并把这个实践过程分享给后来需要学习的同学。 本节：了解hive catalog与hadoop catalog的区别，进行认识 1. 建立 hive catalog，建表 创建hive_catalog与表 CRE
阅读全文
实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）
摘要：前言 之前使用flink1.11.6 iceberg0.11 没写成功，升级flink到1.12.7 升级后版本： flink-1.12.7-bin-scala_2.12 flink-sql-connector-hive-2.3.6_2.12-1.12.7.jar kafka_2.12-2.4.1
阅读全文
实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg
摘要：环境说明 从实践中了解hive catalog 的特点 环境说明： flink1.11.6 iceberg 0.11 kafka2.12_2.4.1 1. 启动带hive和kafka功能的flink-sql [root@hadoop101 software]# bin/sql-client.sh e
阅读全文
实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式
摘要：前言 iceberg底层是如何管理数据，具体每次数据变更，在底层数据结构上发生哪些变化？ 本文主要解答这个问题。 观察的方法是： 1.建立catalog, hdfs截图 2.创建表，hdfs截图 3.insert一条数据，hdfs截图，观察元数据和数据的变更 4.再insert一条数据，hdfs截图
阅读全文
数据湖实践第一课 flink+iceberg入门
摘要：前言 数据胡越来越热门，我也开始探索数据湖在公司落地，把数据湖实践入门、填坑做个记录，也方便以后大家入门 一、数据湖iceberg实践环境说明 1.hadoop版本 社区版 2.7.2 2. hive版本 2.3.6 3. flink版本1.11.6 目前flink出来flink1.14.2，但先选
阅读全文
