随笔分类 - 大数据
学习 HBase
摘要:1 由来 HBase 应大数据而生,是Apache Hadoop项目孵化而来的一种NoSQL数据库,HBase 是 Hadoop Database 的简称。 它的出现有以下几个原因: 大数据时代的到来:随着互联网技术和信息化水平的不断提高,数据量不断增加,对数据的存储、处理和分析提出了更高的要求。传
Ubutnu 20.04 安装和使用单机版hadoop 3.2 [转载]
摘要:按照此文档操作,可以一次部署成功:Ubutnu 20.04 安装和使用单机版hadoop 3.2 部署之后,提交测试任务报资源问题。原因是yarn还需要配置,如下: $ cat yarn-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-st
一行命令查看大数据各个组件的端口
摘要:echo "$(jps)" | while read line ; do set $line ; echo $2 ; sudo netstat -tnlp | grep $1 ;done Jps SecondaryNameNode tcp 0 0 0.0.0.0:9868 0.0.0.0:* LIS
hadoop
摘要:hadoop Hadoop是一个开源框架。 Hadoop是一个由Apache基金会所开发的分布式系统基础架构,一个能够对大量数据进行分布式处理的软件框架。 Hadoop以一种可靠、高效、可伸缩的方式进行数据处理;用户可以在不了解分布式底层细节的情况下,开发分布式程序。 三大组件 HDFS 分布式文件