摘要：
优化杂谈 优化点一：资源 spark作业在运行的时候能占用多少资源：cpu、memory 分配”足够多“的资源，在一定范围内，增加资源 和 性能提升 成正比的 Spark on YARN 作业跑在规划好的YARN的队列中 ./bin/spark-submit --class org.apache.s 阅读全文
摘要：
Alluxio Tachyon 前身的名字 超光速粒子 以内存为中心的分布式文件系统 HDFS、S3.... 介于计算层和存储层之间 计算层：Spark、Flink、MapReduce 存储层在内存中的一个Cache系统 Spark/Alluxio：AMPLab 2012/12 0.1.0 将计算和 阅读全文
摘要：
1 OLTP和OLAP online transaction processing，联机事务处理。业务类系统主要供基层人员使用，进行一线业务操作，通常被称为联机事务处理。 online analytical processing，联机分析处理。数据分析的目标是探索并挖掘数据的价值，作为企业高层进行决 阅读全文
摘要：
浅谈四层和七层负载 关于负载均衡，经常听到四层负载均衡和七层负载均衡的说法，他们之间有什么关系和区别呢，今天就简单总结概括下。 概述 用一句话来说，四层负载均衡就是工作在计算机网络OSI七层分层的第四层（传输层）的，七层负载军和则是工作在第七层（应用层）的。 也就是说，四层负载均衡是基于IP+端口的 阅读全文