Mr-Sponge

突然有一天SecureCRT 连接虚拟机显示连接超时 在确保确保防火墙关闭的前提下 # CentOS6.5 的命令 service iptables stop # 关闭防火墙 chkconfig iptables off # 禁止开机启动 service iptables status # 查看防火 Read More

今天在编写shell脚本进行远程启动集群时没反应，查略了网上的资料后找到了适合我问题的答案 只需要在执性启动命令前，更新下配置文件就解决了(加上：source /etc/profile) for i in hadoop101 hadoop102 hadoop103 do echo " 启动 $i K Read More

# Sqoop **通过jdbc连接Mysql查看数据库列表** ~~~shell bin/sqoop list-databases --connect jdbc:mysql://hadoop101:3306/ --username root --password 1234 ~~~ ## 导入数据 Read More

Flink TableAPI&SQL 学习至此结束（这是我根据B站尚硅谷教学视频自学的总结吧--能力有限） Read More

Flink TableAPI和SQL的基本运用介绍 在Flink中，TableAPI 和 SQL 可以看作是一体的，TableAPI可以将环境中的数据转换成对应的一张表，或者将表里的转换输出到外部系统，然后可以执行SQL语句来进行一个查询和统计。 1、 快速上手 添加相关依赖： <dependenc Read More

hive入门 1. Hive概述 1.1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 1.2 hive的本质 Hive本质：将HQL转化成MapRed Read More

hdfs应用 1. hdfs概述 1.1 产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 1.2 什么是hdfs H Read More

Process Flink 提供了 8 个不同的处理函数： （1） ProcessFunction 最基本的处理函数，基于DataStream 直接调用.process()时作为参数传入。 （2） KeyedProcessFunction 对流按键分区后的处理函数，基于 KeyedStream 调用 Read More

前言 JPA和MyBatis，JPA是SpringBoot官方的，前身就是著名的三大框架之一的Hibernate，好处是不用手写SQL（当然它也支持手写，如果必要的话），而MyBatis灵活性非常高，但是需要手写SQL语句。 第一步，配置pom.xml文件 创建一个Maven项目，配置pom.xml Read More

Flume的概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日 志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 高可用(HA) flume框架（故障转移机制） 高可靠 数据采集的可靠性 分布式 分布式集群搭建 Flume的作用 最主要的作用：实时读取服务器本 Read More