摘要:
java集合笔记 集合概述 什么是集合 集合框架:用于存储数据的容器。 集合框架是为表示和操作集合而规定的一种统一的标准的体系结构。 任何集合框架都包含三大块内容:对外的接口、接口的实现和对集合运算的算法。 接口:表示集合的抽象数据类型。接口允许我们操作集合时不必关注具体实现,从而达到“多态”。在面 阅读全文
摘要:
优化杂谈 优化点一:资源 spark作业在运行的时候能占用多少资源:cpu、memory 分配”足够多“的资源,在一定范围内,增加资源 和 性能提升 成正比的 Spark on YARN 作业跑在规划好的YARN的队列中 ./bin/spark-submit --class org.apache.s 阅读全文
摘要:
Alluxio Tachyon 前身的名字 超光速粒子 以内存为中心的分布式文件系统 HDFS、S3.... 介于计算层和存储层之间 计算层:Spark、Flink、MapReduce 存储层在内存中的一个Cache系统 Spark/Alluxio:AMPLab 2012/12 0.1.0 将计算和 阅读全文
摘要:
1 OLTP和OLAP online transaction processing,联机事务处理。业务类系统主要供基层人员使用,进行一线业务操作,通常被称为联机事务处理。 online analytical processing,联机分析处理。数据分析的目标是探索并挖掘数据的价值,作为企业高层进行决 阅读全文
摘要:
浅谈四层和七层负载 关于负载均衡,经常听到四层负载均衡和七层负载均衡的说法,他们之间有什么关系和区别呢,今天就简单总结概括下。 概述 用一句话来说,四层负载均衡就是工作在计算机网络OSI七层分层的第四层(传输层)的,七层负载军和则是工作在第七层(应用层)的。 也就是说,四层负载均衡是基于IP+端口的 阅读全文