摘要：
4.2.1 下载并安装spark 下载文件名：spark-2.4.4-bin-without-hadoop.tgz 4.2.2 配置linux环境变量 4.2.3 配置spark-env.sh变量环境 注：因为我们下载是不带hadoop依赖jar的spark版本，所以需要在spark配置中指定had 阅读全文
摘要：
下载安装scala：scala-2.13.1.tgz解压： 查看目录： 启动并测试Scala： 阅读全文
摘要：
下面列出我搭建hadoop应用环境的文章整理在一起，不定期更新，供大家参考，互相学习！！！ 杂谈篇： 【英语学习】 Re-pick up English for learning big data (not updated regularly) 【转】大数据工程师需要学习哪些? 【转】大数据东西辣么 阅读全文
摘要：
3.1 创建文件cd bin 跳转到bin文件夹里touch start-kafka-cluster.sh --新建一键启动文件touch stop-kafka-cluster.sh --新建一键停止文件3.2 编写startstart-kafka-cluster.sh内容：#!/bin/bashb 阅读全文
摘要：
3.2.1 下载kafka并安装kafka_2.12-2.3.0.tgz 3.2.2 配置kafka集群 3.2.3 拷贝至各节点scp -r ~/kafka_2.12-2.3.0 hadoop02:~/scp -r ~/kafka_2.12-2.3.0 hadoop03:~/3.2.4 到各节点修 阅读全文
摘要：
3.1.1 下载sqoop1：sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz3.1.2 解压并查看目录： 3.2 配置sqoop——mysql连接器：下载mysql-connector-java-8.0.16.jar，并将其拷贝至sqoop安装目录下的lib文件夹里3.3 阅读全文