记录脚印

摘要： 我们在工作中或多或少都使用过线程池，但是为什么要使用线程池呢？从他的名字中我们就应该知道，线程池使用了一种池化技术，和很多其他池化技术一样，都是为了更高效的利用资源，例如链接池，内存池等等。 数据库链接是一种很昂贵的资源，创建和销毁都需要付出高昂的代价，为了避免频繁的创建数据库链接，所以产生了链接池 阅读全文

摘要： 一、什么是逆向工程？ 简单点说，就是通过数据库中的单表，自动生成java代码。 Mybatis官方提供了逆向工程，可以针对单表自动生成mybatis代码（mapper.java\mapper.xml\po类） 企业中，逆向工程是个很常用的工具，之前我们就学习了hibernate的逆向工程，比我们手动 阅读全文

摘要： /** * getDeclaredConstructor(Class... parameterTypes) * 这个方法会返回制定参数类型的所有构造器，包括public的和非public的，当然也包括private的。 * getDeclaredConstructors()的返回结果就没有参数类型的过滤了。 * * 再来看getConstruct... 阅读全文

摘要： Spark Streaming 一、 介绍 Spark Streaming是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括kafka、flume、twitter等。 Spark的各个子框架核心都是Spark Core。 Spark  阅读全文

摘要： Spark -- WordCount程序 阅读全文

摘要： Spark-RDD 模型 以及运行原理 数据：在内存中计算，数组、list、set spark：RDD是弹性分布性数据集合，并且是基于分区的只读记录。 RDD：操作类型（转换-Transformaction 和 行动-Action） 转换：Transformaction：根据原有的RDD创建一个新的 阅读全文

摘要： Spark运行模式 一：Spark 运行架构介绍 相关术语概念详解： Application：指的是用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多节点上运行的Executor代码。 Driver：Spark中的Driver就是运行Application的main()函 阅读全文

摘要： 背景及架构介绍 一、 背景 什么是kafka呢，他是LinkedIn开发的一个分布式消息系统，用scala编写的，可以水平扩展和高吞吐率。 原本开发自LinkedIn，用作他们的活动流和运营数据处理管道的基础，之后被多家公司使用，慢慢发展壮大起来。 二、 简单介绍 kafka是分布式的，基于发布/订 阅读全文

摘要： 负载均衡- TCP/ IP 基础知识 阅读全文

摘要： 1. 进程和线程之间有什么不同？一个进程是一个独立(self contained)的运行环境，它可以被看作一个程序或者一个应用。而线程是在进程中执行的一个任务。Java运行环境是一个包含了不同的类和程序的单一进程。线程可以被称为轻量级进程。线程需要较少的资源来创建和驻留在进程中，并且可以共享进程中的 阅读全文