随笔分类 - 大数据学习
Spark安装(黑马程序员文档)
摘要：Spark Local环境部署 下载地址 Spark https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.4.1/ Anaconda https://mirrors.tuna.tsinghua.edu.cn/anaconda/archi
Zookeeper安装
摘要：简介 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 除了为Hadoop和HBase提供协调服务外，Zookeeper也被其它许多软件采用作
Sqoop 连接mysql 错误 java.lang.NoClassDefFoundError（已解决）
摘要：错误信息 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils at org.apache.sqoop.manager.MySQLManager.initOptio
Apache Sqoop安装
摘要：1.切换到/export/server 2.上传并解压 tar zxvf sqoop-1.4.7.bin__hadoop-2.6.0 3.设置软连接 ln -s sqoop-1.4.7.bin__hadoop-2.6.0 sqoop 4.切换到/sqoop/conf 将sqoop-env-templ
启动Hadoop时需要进行的操作
摘要：首先切换到hadoop用户 su - hadoop 启动hdfs集群 start-dfs.sh 启动yarn集群 start-yarn.sh 启动hive 首先切换到hive文件夹 cd /export/server/hive 然后再运行下述命令 #先启动metastore服务 然后启动hivese
Hadoop中hive的使用
摘要：启动元数据管理服务（必须启动，否则无法工作） 前台启动：bin/hive --service metastore 后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 & 启动客户端 Hive Shell方式（可以直接写
Hadoop中web ui页面
摘要：hdfs: node1:9870 yarn: node1:8088 Spark: Spark master:node1:8081(8080端口被zookeeper占用) Spark History Server:node1:18080
Hadoop中YARN集群启停命令
摘要：一键启停脚本 # 一键启动yarn集群 start-yarn.sh # 一键关闭yarn集群 stop-yarn.sh 单进程启停 start和stop决定启动和停止可控制resourcemanager、nodemanager、proxyserver三种进程 yarn --daemon start|
Hadoop中HDFS集群启停命令
摘要：一键启停脚本 # 一键启动hdfs集群 start-dfs.sh # 一键关闭hdfs集群 stop-dfs.sh 单进程启停 $HADOOP_HOME/sbin/hadoop-daemon.sh，此脚本可以单独控制所在机器的进程的启停 用法: hadoop-daemon.sh (start|sta
