随笔分类 - 大数据
Hadoop/Spark/Storm
摘要：在zookeeper正常启动后，运行hadoop，并启动flink发现报错： 2022-10-26 13:24:49,145 INFO org.apache.flink.yarn.YarnClusterDescriptor [] - Deployment took more than 60 seco
阅读全文
摘要：1.下载EFAK，解压到指定目录。 2.在/etc/profile文件中添加配置： export KE_HOME=/usr/local/kafka-eagle export PATH=$KE_HOME/bin:$PATH 3.在kafka每个节点的kafka-server-start.sh文件中的上
阅读全文
摘要：安装准备： hadoop3.2.2, flink1.15.0 在成功安装hadoop3.2.2的基础上，采用YARN模式安装Flink1.15。 1.在/etc/profile文件中追加配置： export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop 2.修改ha
阅读全文
摘要：1.Spark可以读取多种数据源，本实例为读取mysql. 2.准备工作： sacla，idea，mysql-connector-java，版本从：https://mvnrepository.com/获取 3.数据获取方式一： object WordFreq { def main(args: Arr
阅读全文
摘要：前言 Hadoop3.2.3及其以后的版本需要JDK1.11才行，而目前的hive3.1.3只支持JDK1.8，为了同时使用hadoop及hive，本文以能支持JDK1.8的Hadoop3.2.2为例，记录下安装过程。 三台机器：121|122|123 JDK1.8（安装过程略） Hadoop3.2
阅读全文
摘要：第一部分：环境配置（含操作系统、防火墙、SSH、JAVA安装等） Hadoop 2.8集群安装模拟环境为： 主机：Hostname:Hadoop-host,IP:10.10.11.225 节点1：Hostname:Hadoopnode1,IP:10.10.11.254 两台机器均为Centos 7.
阅读全文
摘要：1.编写一个统计单词数量的java程序，并命名为wordcount.java，代码如下： 2.声明java环境变量： 其中JAVA_HOME根据自己安装java的实际路径进行配置。 注意：如果不声明以上环境变量，那么在以后运行时，将会收到错误提示： 3.编译并创建jar包。 4.运行第三步骤生成的w
阅读全文
