2022年7月21日
摘要：
Linux日志收集 一、实验目的： 1、掌握rsyslog配置方法 2、配置rsyslog服务收集其他Linux服务器日志: C/S架构：客户端将其日志上传到服务器端，通过对服务器端日志的查询，来实现对其他客户端的日志进行集中管理；下面实现就是通过两套机器来实现，（server：198.168.22 阅读全文
2022年7月21日
2022年7月1日
摘要：
在maven项目中，怎么写Scala项目呢？下面是具体步骤，希望能帮到你哦 1.新建一个Maven项目 2.新建文件夹scala，并且将文件夹设置为resource root 3.添加scala library 4.添加scala插件，前提是先在settings-plugins中下载安装哦(附步骤) 阅读全文
2022年5月13日
摘要：
一、问题描述： 我是非root的服务器账号，因为始终无法访问某个sshfs的挂载文件夹，于是想取消挂载后重新挂载。但是取消挂载时，所有对该文件的命令均卡住，并且导致vs code的 remote-ssh无法正常登录。 表征1：remote-ssh 无法登陆 问题主要是挂载有问题，用VS code使用 阅读全文
摘要：
前言 第三方jar包在开发工具中引入后编译没问题, 启动调试包括打包时会提示找不到jar包的错误.需要上传到maven仓库中,并在pom文件内引入. 导入jar包 点击Project Structure进行项目设置，在Modules中Dependencies标签中点击+号 添加lib下的所有jar 阅读全文
2022年5月12日
摘要：
问题说明# 使用 MySQL GUI 连接腾讯云的 MySQL 服务器连接失败，经查是由三个原因引起的： 云服务器未配置安全组，开通 3306 端口。 数据库默认只允许本地连接，拒绝远程连接。 所使用 root 账号无远程连接权限，需要设置权限，或新建账号用于远程连接。 解决方法和步骤# 创建远程连 阅读全文
2022年4月27日
摘要：
#!/bin/bash ################################################################# 每小时执行一次脚本（任务计划），当时间为0点或12点时，将目标目录下的所有文件内#容清空，但不删除文件，其他时间则只统计各个文件的大小，一个文件 阅读全文
摘要：
#!/bin/bash ###################################### 检测两台服务器指定目录下的文件一致性 ##################################### #通过对比两台服务器上文件的md5值，达到检测一致性的目的 dir=/data/we 阅读全文
2022年4月19日
摘要：
问题导读：1、常用的算法模型有哪些？ 2、如何对数据进行监控管理？ 3、大数据平台的数据服务是怎样的？ 1.5 数据分析建模 伴随着大数据时代的悄然来临,数据的价值得到人们的广泛认同,对数据的重视提到了前所未有的高度。数据已经作为企业、事业单位的重要资产被广泛应用于盈利分析与预测、客户关系管理、合规 阅读全文
摘要：
问题导读：1、数据仓库的总体架构是怎样的？ 2、如何进行数据采集？ 3、数据是如何进行加工和处理的？1.1 数据仓库总体架构专家系统接收增购项目车辆TCMS或其他子系统通过车地通信传输的实时或离线数据，经过一系列综合诊断分析，以各种报表图形或信息推送的形式向用户展示分析结果。针对诊断出的车辆故障将给 阅读全文
摘要：
问题导读1.Flink 1.11 有哪些新功能？ 2.如何使用 flink-cdc-connectors 捕获 MySQL 和 Postgres 的数据变更? 3.怎样利用 Flink SQL 做多流 join 后实时同步到 Elasticsearch 中？ 1 Flink 1.8 ~ 1.11 社 阅读全文
摘要：
大纲 一、数仓基本概念 1、数据仓库架构 我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。这里我们引用一段话：在软件行业，一种被普遍接受的架构定义是指系统的一个或多个结构。结构中包括软件的构建（构建是指软件的设计与实现），构建的外部可以看到 阅读全文
摘要：
下载 .msi 文件，下载后双击该文件，按操作提示安装即可。安装过程中，你可以通过点击 "Custom(自定义)" 按钮来设置你的安装目录。 下一步安装 "install mongoDB compass" 不勾选（当然你也可以选择安装它，可能需要更久的安装时间），MongoDB Compass 是一 阅读全文
摘要：
这里我们选择 tgz 下载，下载完安装包，并解压 tgz（以下演示的是 64 位 Linux上的安装） 。 wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-ubuntu1604-4.2.8.tgz # 下载 tar -zxvf m 阅读全文
摘要：
一、安装 上传安装文件到服务器，假设目录为/usr/进入存放安装文件所在目录 cd /usr/ 解压tomcat,文件名字根据上传的tomcat版本号修改,可输入apache-tomcat之后按tab键自动补充tar -zxvf apache-tomcat-8.5.76.tar.gz 查看解压后的t 阅读全文
摘要：
win10系统安装jdk8全过程 一 下载安装文件 jdk的安装与配置是Java学习的第一步，下面记录一下具体过程。首先根据自己系统下载对应版本。下载地址http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-21 阅读全文
摘要：
1.准备工作Linux系统环境上官网下载jdk压缩包https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 如果嫌官网下载慢的话可以选择国内大厂的jdk镜像网站下载速度很快，比如华为的： 阅读全文
摘要：
一、产品介绍 1.1. 产品概述 RestCloud ETL数据融合平台通过可视化的拖、拉、拽即可完成数据集成流程的构建并实现数据抽取、转换、清洗、脱敏、加载等功能,RestCloud ETL从架构、易用性、传输性能、可视化、 功能丰富性等方面均全面超越常见的开源ETL工具。通过容器化技术RestC 阅读全文
摘要：
1. 登录 1.1打开浏览器，输入平台地址：http://IP:端口/restcloud/admin初始化管理员账号：admin 密码：pass1.2输入账号、密码登录进入平台，如下图： 2. 创建数据源 2.1在主界面点击数据源管理，进入创建数据源管理页面2.2点击新建数据源，弹出数据源创建选项2 阅读全文
2022年4月16日
摘要：
前言 不以完美记录做为目标。以记录自己学习过程为主线，进行记录，记录通过实践，来了解原理，并把这个实践过程分享给后来需要学习的同学。 本节：了解hive catalog与hadoop catalog的区别，进行认识 1. 建立 hive catalog，建表 创建hive_catalog与表 CRE 阅读全文
摘要：
前言 之前使用flink1.11.6 iceberg0.11 没写成功，升级flink到1.12.7 升级后版本： flink-1.12.7-bin-scala_2.12 flink-sql-connector-hive-2.3.6_2.12-1.12.7.jar kafka_2.12-2.4.1 阅读全文