突然有一天SecureCRT 连接虚拟机显示连接超时 在确保确保防火墙关闭的前提下 # CentOS6.5 的命令 service iptables stop # 关闭防火墙 chkconfig iptables off # 禁止开机启动 service iptables status # 查看防火 Read More
今天在编写shell脚本进行远程启动集群时没反应,查略了网上的资料后找到了适合我问题的答案 只需要在执性启动命令前,更新下配置文件就解决了(加上:source /etc/profile) for i in hadoop101 hadoop102 hadoop103 do echo " 启动 $i K Read More
# Sqoop **通过jdbc连接Mysql查看数据库列表** ~~~shell bin/sqoop list-databases --connect jdbc:mysql://hadoop101:3306/ --username root --password 1234 ~~~ ## 导入数据 Read More
Flink TableAPI&SQL 学习至此结束(这是我根据B站尚硅谷教学视频自学的总结吧--能力有限) Read More
Flink TableAPI和SQL的基本运用介绍 在Flink中,TableAPI 和 SQL 可以看作是一体的,TableAPI可以将环境中的数据转换成对应的一张表,或者将表里的转换输出到外部系统,然后可以执行SQL语句来进行一个查询和统计。 1、 快速上手 添加相关依赖: <dependenc Read More
hive入门 1. Hive概述 1.1 什么是Hive Hive:由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。 1.2 hive的本质 Hive本质:将HQL转化成MapRed Read More
hdfs应用 1. hdfs概述 1.1 产生背景 随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 1.2 什么是hdfs H Read More
Process Flink 提供了 8 个不同的处理函数: (1) ProcessFunction 最基本的处理函数,基于DataStream 直接调用.process()时作为参数传入。 (2) KeyedProcessFunction 对流按键分区后的处理函数,基于 KeyedStream 调用 Read More
前言 JPA和MyBatis,JPA是SpringBoot官方的,前身就是著名的三大框架之一的Hibernate,好处是不用手写SQL(当然它也支持手写,如果必要的话),而MyBatis灵活性非常高,但是需要手写SQL语句。 第一步,配置pom.xml文件 创建一个Maven项目,配置pom.xml Read More
Flume的概述 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日 志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。 高可用(HA) flume框架(故障转移机制) 高可靠 数据采集的可靠性 分布式 分布式集群搭建 Flume的作用 最主要的作用:实时读取服务器本 Read More