瓶子xf

摘要： （转）http://blog.sina.com.cn/s/blog_1530d26030102x39z.html 1、平均并发用户数 C = nL/T 其中 C：平均的并发用户数； n：平均每天访问用户数（login session的数量）； L：一天内用户从登录到退出的平均时间（login ses 阅读全文

摘要： （转发）https://blog.csdn.net/onemetre/article/details/41391569 可伸缩性(可扩展性)是一种对软件系统计算处理能力的设计指标，高可伸缩性代表一种弹性，在系统扩展成长过程中，软件能够保证旺盛的生命力，通过很少的改动甚至只是硬件设备的添置，就能实现整 阅读全文

摘要： Spark性能调优之——在实际项目中广播大变量 Spark广播和累加器的使用 Spark自定义累加器的使用 阅读全文

摘要： 阅读全文

摘要： 阅读全文

摘要： 1、Application2、spark-submit3、Driver4、SparkContext5、Master6、Worker7、Executor8、Job9、DAGScheduler10、TaskScheduler11、ShuffleMapTask and ResultTask 阅读全文

摘要： package day04.scala/** * Description: 使用二分查找法，查找元素为“70”的索引值 java */object Demo2SecondaySearh { def main(args: Array[String]) { 30 //使用二分查找法前提:有序集合 val 阅读全文

摘要： 从三个方面来分析：1.什么时候使用，2.原理是什么3.性能上有什么优化 累加变量：--(自定义累加器很重要) 使用场景：累加器的一个常见用途是在调试时对作业执行过程中的事件进行计数，如：统计日志中空行数、统计错误行数等；统计电商网站走一步到两步的人有多少，。。。。即步伐的计算； 原理： task只能 阅读全文

摘要： Hadoop安全模式的理解 阅读全文

摘要： 客户端对hdfs进行写文件时会首先被记录在edits文件中。 edits修改时元数据也会更新。 每次hdfs更新时edits先更新后客户端才会看到最新信息。 fsimage:是namenode中关于元数据的镜像，一般称为检查点。 一般开始时对namenode的操作都放在edits中，为什么不放在fs 阅读全文