Sqoop快速入门
摘要：1 Sqoop概述 传统的应用程序管理系统，即应用程序与使用RDBMS的关系数据库的交互，是产生大数据的来源之一。由RDBMS生成的这种大数据存储在关系数据库结构中的关系数据库服务器中。 当大数据存储和Hadoop生态系统的MapReduce，Hive，HBase，Cassandra，Pig等分析器
阅读全文
Container is running beyond memory limits
摘要：类似错误信息： 2020-08-21 15:30:28,713 INFO mapreduce.Job: Task Id : attempt_1596166140899_0045_m_000004_2, Status : FAILED[2020-08-21 15:30:29.974]Container
阅读全文
HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}
摘要：HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}
阅读全文
快速搞定Windows10环境下hadoop安装和配置
摘要：一. Windows10环境下安装 1. 下载安装JDK1.8，并配置环境变量，注意：JAVA_HOME环境变量配置的路径不要包含空格，C盘中的Program Files目录名称可用PROGRA~1代替即 2. 下载Hadoop镜像安装文件，下载地址：镜像文件 3. 解压Hadoop镜像文件到磁盘目
阅读全文
HBase 和 Hive 的差别是什么，各自适用在什么场景中？Spark SQL能做什么?
摘要：HBase 和 Hive 的差别是什么，各自适用在什么场景中？ 结论：Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。 一、区别： Hbase： Hadoop database 的简称，也就是基于Hadoop数据
阅读全文
hadoop错误--转发-hadoop启动遇到的各种问题
摘要：https://segmentfault.com/a/1190000006838239 hadoop启动遇到的各种问题 1. HDFS initialized but not 'healthy' yet, waiting... 这个日志会在启动hadoop的时候在JobTracker的log日志文件
阅读全文
hadoop错误--集群启动master时namenode进程无法启动
摘要：org.apache.hadoop.http.HttpServer2: HttpServer.start() threw a non Bind IOException
java.net.BindException: Port in use: master:50070
阅读全文
