摘要：
storm系统架构 storm 是什么的：分布式 && 实时 计算系统 Nimbus:负责资源分配和任务调度。 Supervisor:负责接受nimbus分配的任务,启动和停止属于自己管理的worker进程。 Worker:运行具体处理组件逻辑的进程。 Task:worker中每一个spout/bo 阅读全文
摘要：
结合zookeeper详细说明CAP定理 一致性：写操作之后的读操作，必须返回该值 可用性：只要收到用户的请求，服务器就必须给出回应，节点故障不影响使用 分区容错性：在过半机制下丢掉一个server不影响集群的启动和工作 详述zookeeper的广播模式和恢复模式 Zookeeper的核心是原子广播 阅读全文
摘要：
redis五种数据类型操作，重点是string类型和hash类型 字符串(String) 设置字符串值 set 获取值get EX 设置过期时间，秒，等同于SETEX key seconds value PX 设置过期时间，毫秒，等同于PSETEX key milliseconds value NX 阅读全文
摘要：
hadoop-hdfs-API 在windows上部署hadoop包 windows配置环境变量 hadoop的bin目录，HADOOP_USER_NAME root 配置eclipse，从Linux上拉取core-sit.xml，hdfs-site.xml文件 java代码 Configurati 阅读全文
摘要：
Mapreduce执行过程 splitSize=Mash.max(minSize,Math.min(maxSize,blockSize)) 数据块大小一般与分片大小相同 Block数据块 分片 FileSplit FilrInputFormat 继承，重写可以设置字节的K.V 分片 K.V(一条数据 阅读全文
摘要：
配置 hadoop-env.sh (hadoop环境) etc/hadoop/core-site.xml: <property> <name>fs.defauletFS</name>规划namenode在哪启动 <value>hdfs://node01:9000</value> </property 阅读全文
摘要：
hadoop简单介绍及架构设计 集群 并行：提升速度的关键 计算向数据移动 分布式。分而治之。并行计算 HDFS 存储模型：字节 文件线性切割成块（Block）:偏移量 offset (面对原文件的索引) Block分散存储在集群节点中 单一文件Block大小一致，最后一块可能分配不均 副本： 副本 阅读全文
摘要：
nginx 高性能的HTTP 反向代理服务器 面向服务：1，连接成功：2,3秒（用户体验） 目录树结构 《淘宝十年》 nginx能够支持5万并发链接 apache是同步多进程模型，一个连接对应一个进程；nginx是异步的，多个连接（万级别）,进程数与CPU物理核心数相等。 tar zxvf teng 阅读全文
摘要：
文本流&重定向 man bash 解释从命令行或者从文本读取的命令 ls / echo "hello" echo $$ source sh01.sh 读取当前文本文件命令 . sh01.sh 读取当前文本文件命令 pstree 查看bash命令关系 bash sh01.sh 在子bash运行文件 t 阅读全文