摘要：
在Kafka中Partition(分区)是真正保存消息的地方，发送的消息都存放在这里。Partition(分区)又存在于Topic（主题）中，并且一个Topic（主题）可以指定多个Partition(分区)。 在Kafka中，只保证Partition(分区)内有序，不保证Topic所有分区都是有 阅读全文
摘要：
Scala 是一门以 java 虚拟机（JVM）为运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态类型编程语言。scala 单作为一门语言来看， 非常的简洁高效，在 Scala 中存在很多让代码更加简洁的语法，下划线“_”便是其中一个。下划线的普遍用法总结如下： 用于变量初始化 在 Jav 阅读全文
摘要：
1. 程序代码 package com.atguigu.thread;import java.util.concurrent.TimeUnit;class Phone{ public synchronized void sendSMS() throws Exception{System.out.pr 阅读全文
摘要：
AngularJS 的设计思想与 jquery 完全不同,前者操作的是变量 $scope $http,后者操作的 DOM。 MVC 模式 Angular 遵循软件工程的 M(数据)V(视图)C(控制器)模式,并鼓励展现，数据，和逻辑组件之间的松耦合.通过依赖注入（dependency injecti 阅读全文
摘要：
1．在默认情况下（set mapreduce.job.reduces=-1）,实际运行计算过程中reducer的数量会由所读取文件的大小来决定。文件默认大小是256M，即每256M对应一个reduce。比如当文件大小为1G时，会启用4个reducer处理数据；当文件大小为400M时，会启用2个 阅读全文
摘要：
之前文章我们讲解了Apache Shiro的一些基础知识，今天我们会进行Shiro Realm实战以及对Shiro认证授权源码进行解读。 1. Shiro安全数据来源之Realm实战 从之前章节的讲解我们了解到实际进行权限信息验证的是我们的 Realm，Shiro 从 Realm 获取安全数据， 阅读全文
摘要：
Spark任务调度机制论述 在生产环境下，Spark集群的部署方式一般为YARN-Cluster模式。 Driver线程主要是初始化SparkContext对象，准备运行所需的上下文，然后一方面保持与ApplicationMaster的RPC连接，通过ApplicationMaster申请资源， 阅读全文
摘要：
一、Impala介绍 Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性 阅读全文
摘要：
简介 之前我们都是通过shell来完成对数据库的各种操作的，在开发中大部分时候我们都需要通过程序来完成对数据库的操作。 而Mongoose就是一个让我们可以通过Node来操作MongoDB的模块。 Mongoose是一个对象文档模型（ODM）库，它对Node原生的MongoDB模块进行了进一步的优 阅读全文
摘要：
一、Shuffle机制 1）Map方法之后Reduce方法之前这段处理过程叫Shuffle 2）Map方法之后，数据首先进入到分区方法，把数据标记好分区，然后把数据发送到环形缓冲区；环形缓冲区默认大小100m，环形缓冲区达到80%时，进行溢写；溢写前对数据进行排序，排序按照对key的索引 阅读全文