摘要: 一、什么是逆向工程? 简单点说,就是通过数据库中的单表,自动生成java代码。 Mybatis官方提供了逆向工程,可以针对单表自动生成mybatis代码(mapper.java\mapper.xml\po类) 企业中,逆向工程是个很常用的工具,之前我们就学习了hibernate的逆向工程,比我们手动 阅读全文
posted @ 2019-03-27 10:29 局外人~~ 阅读(196) 评论(0) 推荐(0) 编辑
摘要: /** * getDeclaredConstructor(Class... parameterTypes) * 这个方法会返回制定参数类型的所有构造器,包括public的和非public的,当然也包括private的。 * getDeclaredConstructors()的返回结果就没有参数类型的过滤了。 * * 再来看getConstruct... 阅读全文
posted @ 2019-03-05 14:26 局外人~~ 阅读(157) 评论(0) 推荐(0) 编辑
摘要: Spark Streaming 一、 介绍 Spark Streaming是Spark核心API的一个扩展,可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据,包括kafka、flume、twitter等。 Spark的各个子框架核心都是Spark Core。 Spark  阅读全文
posted @ 2019-02-25 08:23 局外人~~ 阅读(426) 评论(0) 推荐(0) 编辑
摘要: Spark -- WordCount程序 阅读全文
posted @ 2019-02-23 21:46 局外人~~ 阅读(194) 评论(0) 推荐(0) 编辑
摘要: Spark-RDD 模型 以及运行原理 数据:在内存中计算,数组、list、set spark:RDD是弹性分布性数据集合,并且是基于分区的只读记录。 RDD:操作类型(转换-Transformaction 和 行动-Action) 转换:Transformaction:根据原有的RDD创建一个新的 阅读全文
posted @ 2019-02-23 07:29 局外人~~ 阅读(561) 评论(0) 推荐(0) 编辑
摘要: Spark运行模式 一:Spark 运行架构介绍 相关术语概念详解: Application:指的是用户编写的Spark应用程序,包含了一个Driver功能的代码和分布在集群中多节点上运行的Executor代码。 Driver:Spark中的Driver就是运行Application的main()函 阅读全文
posted @ 2019-02-23 07:08 局外人~~ 阅读(753) 评论(0) 推荐(0) 编辑
摘要: 背景及架构介绍 一、 背景 什么是kafka呢,他是LinkedIn开发的一个分布式消息系统,用scala编写的,可以水平扩展和高吞吐率。 原本开发自LinkedIn,用作他们的活动流和运营数据处理管道的基础,之后被多家公司使用,慢慢发展壮大起来。 二、 简单介绍 kafka是分布式的,基于发布/订 阅读全文
posted @ 2019-02-22 08:27 局外人~~ 阅读(515) 评论(0) 推荐(0) 编辑
摘要: 负载均衡- TCP/ IP 基础知识 阅读全文
posted @ 2019-02-18 14:11 局外人~~ 阅读(330) 评论(0) 推荐(0) 编辑
摘要: 1. 进程和线程之间有什么不同?一个进程是一个独立(self contained)的运行环境,它可以被看作一个程序或者一个应用。而线程是在进程中执行的一个任务。Java运行环境是一个包含了不同的类和程序的单一进程。线程可以被称为轻量级进程。线程需要较少的资源来创建和驻留在进程中,并且可以共享进程中的 阅读全文
posted @ 2018-12-21 09:30 局外人~~ 阅读(1196) 评论(0) 推荐(0) 编辑
摘要: 在前面的文章中,我们使用线程的时候就去创建一个线程,这样实现起来非常简便,但是就会有一个问题: 如果并发的线程数量很多,并且每个线程都是执行一个时间很短的任务就结束了,这样频繁创建线程就会大大降低系统的效率,因为频繁创建线程和销毁线程需要时间。 那么有没有一种办法使得线程可以复用,就是执行完一个任务 阅读全文
posted @ 2018-11-29 17:05 局外人~~ 阅读(405) 评论(0) 推荐(0) 编辑