摘要：
一、安装装备 下载安装包： vmware workstations pro 12 三台centos7.1 mini 虚拟机 网络配置NAT网络如下： 二、创建hadoop用户和hadoop用户组 1. groupadd hadoop 2. useradd hadoop 3. 给hadoop用户设置密码 在root用户下：passwd hadoop设置新密码 三、关闭防火墙和selinu... 阅读全文
摘要：
什么是集群Nas 集群是由多个节点构成的一种松散耦合的计算节点集合，协同起来对外提供服务。集群主要分为高性能集群HPC，高可用集群HAC和负载均衡集群LBC。集群Nas是指协同多个节点（通常称为Nas机头）提供高性能、高可用或高负载均衡的Nas（NFC/CIFS）服务。 Nas三种主流架构 1.san共享存储架构 后端存储采用SAN，所有NAS集群节点通过光纤连接到SAN，共享所有的存储设备，通常... 阅读全文
摘要：
git add 你所添加的文件或者文件夹git commitgit push 阅读全文
摘要：
#!/usr/bin/env python # -*- encoding: utf-8 -*- # Created on 2015-03-20 09:46:20 # Project: fly_spider import re import time #from pyspider.database.mysql.mysqldb import SQL from pyspider.libs.base_h... 阅读全文
摘要：
以第一ppt网站为例：http://www.1ppt.com/ from pyspider.libs.base_handler import * import urllib2,HTMLParser,re import urllib2,HTMLParser,re #根url host = "http://www.1ppt.com/" #本地保存地址 localSavePath = '/data/... 阅读全文
摘要：
一、ceph架构 ceph生态系统分为四个部分： 客户端：数据用户 元数据服务器：缓存和同步分布式元数据 对象存储集群 ceph客户端 ceph使用一个有趣的备选，而不是依赖分配选项（将磁盘上的块映射到指定文件的元数据）。 Linux透视图中的一个文件会分配到一个来自元数据服务器的inode number(INO)，对于文件这是一个唯一的标识符。然后文件被推入一些对象中（根据文件大小）。使用IN... 阅读全文
摘要：
ssh-keygen -t rsa ssh-copy-id -i /root/.ssh/id-rsa.pub root@10.0.0.109 # 实现和109互通 vim /etc/hosts DNS解析 阅读全文
摘要：
Linux系统信息： Version： Centos 6.6 Ip address：10.0.0.104 Hostname： extmail.com 配置系统 hostname Vim /etc/sysconfig/network Vim /etc/hosts Vim /etc/resolv.conf 安装 Yum install bind bind-libs bind-chroot ... 阅读全文
摘要：
cp conf/flume-env.sh.template conf/flume-env.sh 打开flume-env.sh，配置Java环境变量 [root@test1 apache-flume-1.6.0-bin]# vim conf/flume.conf # Define a memory channel called ch1 on agent1 agent1.channels.ch1... 阅读全文
摘要：
一、什么是Flume NG Flume是一个分布式、可靠、和高可用性的海量日志采集、聚合和传输的系统，支持在日志系统中定制各类数据发送方，用于收集数据；同时Flume提供对数据的简单处理，并写到各种数据接受方（比如文本、HDFS、Hbase等）的能力 Flume的初始版本称为Flume OG，后来重构核心组件、核心配置及代码结构，重命名为Flume NG（Next Gerneration），Flu... 阅读全文