摘要：
1、概述 工作机制 协调整个框架运行；但又处于背景版的角色； Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 Zookeeper=文件系统+通知机制； 特点 集群的数量都是奇数个；（3台和4台的容错机制（挂几台机器还是可以照样运行）是一样的，都是1台；4台太消耗 阅读全文
摘要：
HDFS 1. HDFS--写（上传） NameNode：Master主管管理者，管理HDFS的名称空间、配置副本策略、管理数据块Block的映射信息、处理客户端读写请求； DataNode：Slave，执行NN下达的命令，存储实际的数据块、执行数据块的读写操作； Client：①文件切分，将文件切 阅读全文
摘要：
概述 分布式运算程序 优点：易于编程；良好扩展性；高容错性；适合PB级以上海量数据的离线处理； 缺点：不擅长实时计算；不擅长流式计算；不擅长DAG有向图计算； 核心思想 1）分布式的运算程序往往需要分成至少2个阶段。 2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。 3）第二个阶段的 阅读全文
摘要：
1. Linx系统下的文件管理（一切皆文件） 万能的帮助命令 man 帮助 man 是manual 的缩写 man 帮助用法演示：# man ls （q建 退出） man 也是一条命令，分为9章，可以使用man命令获得man的帮助： #man 7 man （设置9章的目的是有的命令会重名比如 pas 阅读全文
摘要：
1. NoSQL数据库简介 解决应用服务器的CPU和内存压力；解决数据库服务的IO压力； ① session存在缓存数据库（完全在内存里），速度快且数据结构简单； 打破了传统关系型数据库以业务逻辑为依据的存储模式，而针对不同数据结构类型改为以性能为最优先的存储方式--非关系型数据库K， V。 ② 缓 阅读全文
摘要：
正则表达式与文本搜索 元字符 . 匹配除换行符外的任意单个字符； * 匹配任意一个跟在它前面的字符； [ ] 匹配方括号中的字符类中的任意一个； ^ 匹配开头； $ 匹配结尾； \ 转义后面的特殊字符； [root@Linux100 ~]# grep password /root/anaconda- 阅读全文
摘要：
大数据生态体系 1. Hadoop组成 HDFS（Hadoop Distributed File System）架构概述 NameNode目录--主刀医生(nn)； DataNode（dn)数据； Secondary NameNode（2nn）助手； 1）NameNode（nn）：存储文件的元数据， 阅读全文
摘要：
1. Mysql的安装配置 MySQL支持大型数据库，支持5000万条记录的数据仓库，32位系统表文件最大可支持4GB，64位系统支持最大的表文件为8TB。 官网下载地址：http://dev.mysql.com/downloads/mysql/ 拷贝&解压缩 1、CentOS6 rpm -qa|g 阅读全文
摘要：
1) Spring是一个IOC(DI)和AOP容器框架。 1) Spring的优良特性 依赖注入：DI——Dependency Injection，反转控制(IOC)最经典的实现。 面向切面编程：Aspect Oriented Programming——AOP 一站式：在IOC和AOP的基础上可以整 阅读全文
摘要：
性能分析 使用EXPLAIN关键字可以模拟优化器执行SQL查询语句，从而知道MySQL是如何处理你的SQL语句的。分析你的查询语句或是表结构的性能瓶颈。 表的读取顺序、哪些索引可以使用、数据读取操作的操作类型、哪些索引被实际使用、表之间的引用、每张表有多少行被物理查询（扫描） Explain + S 阅读全文