摘要:
优化杂谈 优化点一:资源 spark作业在运行的时候能占用多少资源:cpu、memory 分配”足够多“的资源,在一定范围内,增加资源 和 性能提升 成正比的 Spark on YARN 作业跑在规划好的YARN的队列中 ./bin/spark-submit --class org.apache.s 阅读全文
摘要:
Alluxio Tachyon 前身的名字 超光速粒子 以内存为中心的分布式文件系统 HDFS、S3.... 介于计算层和存储层之间 计算层:Spark、Flink、MapReduce 存储层在内存中的一个Cache系统 Spark/Alluxio:AMPLab 2012/12 0.1.0 将计算和 阅读全文
摘要:
1 OLTP和OLAP online transaction processing,联机事务处理。业务类系统主要供基层人员使用,进行一线业务操作,通常被称为联机事务处理。 online analytical processing,联机分析处理。数据分析的目标是探索并挖掘数据的价值,作为企业高层进行决 阅读全文
摘要:
浅谈四层和七层负载 关于负载均衡,经常听到四层负载均衡和七层负载均衡的说法,他们之间有什么关系和区别呢,今天就简单总结概括下。 概述 用一句话来说,四层负载均衡就是工作在计算机网络OSI七层分层的第四层(传输层)的,七层负载军和则是工作在第七层(应用层)的。 也就是说,四层负载均衡是基于IP+端口的 阅读全文