随笔分类 - hadoop
摘要：1.简介HBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库,是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。HBase使用和 BigTable非常相同的数据模型。用户存储数据行在一个表里。一个数据行拥有一个可选择的键和任意数量的列，一个或
阅读全文
摘要：一、概述 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供
阅读全文
摘要：Session模式 yarn-session.sh(开辟资源) + flink run(提交任务) 1.在yarn上启动一个Flink会话，node1上执行以下命令 /export/server/flink/bin/yarn-session.sh -n 2 -tm 800 -s 1 -d 说明: 申
阅读全文
摘要：flink集群安装部署 yarn集群模式 快速开始 在yarn上启动一个一直运行的flink集群 在yarn上运行一个flink job flink yarn session 启动flink session 提交任务到flink 在yarn上运行一个独立的flink job 用户依赖jar包和cla
阅读全文
摘要：clickhouse集群搭建 搭建前准备配置好防火墙以及搭建好zookeeper,这里就不做搭建,可自行查找攻略首先取消打开文件数限制,然后重启不然不生效 [root@node02 ~]# vim /etc/security/limits.conf * soft nofile 65536 * har
阅读全文
摘要：Hadoop高可用集群 由于一个HDFS集群由一个NameNode节点和多个DataNode节点组成，一旦NameNode节点宕机，那么HDFS将不能进行文件的上传与下载。 由于一个Yarn集群由一个ResourceManager节点和多个NodeManager节点组成，一旦ResourceMana
阅读全文
