一个啥子都不会的码农丶

摘要： 一 kafka概述 1.1 kafka是什么 在流式计算中，kafka一般涌来缓存数据，storm通过消费kafka的数据进行计算。kafka是一个分布式的消息队列。kafka对消息保存时根据topic进行归类，发送消息者成为producer（生产者），消息接受者称为consumer（消费者）此外k 阅读全文

摘要： 一 、 Hadoop 集群架构设计 二 、 搭建集群 修改IP地址与hostname以及部署zookeeper、hadoop见上一篇博文《Hadoop 完全分布式搭建》。 三 、修改配置文件 修改nna上的core-site.xml 修改 hdfs-site.xml 修改 mapred-site.x 阅读全文

摘要： 一、 HDFS体系结构 HDFS 采用的是master/slave架构设计 , 一个HDFS集群包含一个单独的 NameNode 和多个DataNode。 1.1 HDFS 组件及作用 NameNode (名称节点)负责整个分布式系统的元数据 , 主要包括： 1) 目录树结构 2) 文件到数据库bl 阅读全文

摘要： 一 、 安装一台全新的Redhat 。 二 、 更改静态IP地址 （1）获取本机IP地址， ifconfig -a ifconfig -a (2) 更改hosts 文件 vim /etc/hosts vim /etc/hosts （3）更改hostname vim /etc/sysconfig/ne 阅读全文