摘要: Flink 有三种部署模式,分别是 Local、Standalone Cluster 和 Yarn Cluster。 1.1. Local模式 对于 Local 模式来说,JobManager 和 TaskManager 会公用一个 JVM 来完成 Workload。如果要验证一个简单的应用,Loc 阅读全文
posted @ 2018-12-29 11:39 绵羊大神 阅读(1141) 评论(0) 推荐(0) 编辑
摘要: 1. Flink的引入 这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有 Hadoop、Storm,以及后来的 Spark,他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河,也以内存为赌注,赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身 阅读全文
posted @ 2018-12-29 11:33 绵羊大神 阅读(1535) 评论(0) 推荐(0) 编辑
摘要: Zookeeper集群的角色: Leader 和 follower (Observer) zk集群最好配成奇数个节点 只要集群中有半数以上节点存活,集群就能提供服务 本事例采用版本:zookeeper-3.4.5 虚拟机:zk1 zk2 zk3 /************************** 阅读全文
posted @ 2017-06-14 17:22 绵羊大神 阅读(175) 评论(0) 推荐(1) 编辑
摘要: 归并排序的基本思想 将待排序序列R[0...n-1]看成是n个长度为1的有序序列,将相邻的有序表成对归并,得到n/2个长度为2的有序表;将这些有序序列再次归并,得到n/4个长度为4的有序序列;如此反复进行下去,最后得到一个长度为n的有序序列。 综上可知: 归并排序其实要做两件事: (1)“分解”—— 阅读全文
posted @ 2017-04-07 10:48 绵羊大神 阅读(215) 评论(0) 推荐(0) 编辑
摘要: 5、将内容追加到文件尾部 阅读全文
posted @ 2017-03-23 19:46 绵羊大神 阅读(255) 评论(0) 推荐(0) 编辑
摘要: 第一、pom.xml配置: <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.6.0</version> </dependency> <dependenc 阅读全文
posted @ 2017-02-11 20:11 绵羊大神 阅读(3934) 评论(0) 推荐(0) 编辑
摘要: 1. 什么是阻塞队列? 阻塞队列(BlockingQueue)是一个支持两个附加操作的队列。这两个附加的操作是:在队列为空时,获取元素的线程会等待队列变为非空。当队列满时,存储元素的线程会等待队列可用。阻塞队列常用于生产者和消费者的场景,生产者是往队列里添加元素的线程,消费者是从队列里拿元素的线程。 阅读全文
posted @ 2017-02-01 14:28 绵羊大神 阅读(642) 评论(0) 推荐(0) 编辑
摘要: 前言: 在新增的Concurrent包中,BlockingQueue很好的解决了多线程中,如何高效安全“传输”数据的问题。通过这些高效并且线程安全的队列类,为我们快速搭建高质量的多线程程序带来极大的便利。本文详细介绍了BlockingQueue家庭中的所有成员,包括他们各自的功能以及常见使用场景。 阅读全文
posted @ 2017-01-28 10:29 绵羊大神 阅读(266) 评论(1) 推荐(0) 编辑
摘要: Netty是什么? 1)本质:JBoss做的一个Jar包 2)目的:快速开发高性能、高可靠性的网络服务器和客户端程序 3)优点:提供异步的、事件驱动的网络应用程序框架和工具 通俗的说:一个好使的处理Socket的东东 如果没有Netty? 远古:java.net + java.io 近代:java. 阅读全文
posted @ 2017-01-22 11:33 绵羊大神 阅读(1515) 评论(1) 推荐(0) 编辑
摘要: JAVA类加载和反射介绍 简单的来说,反射机制指的是程序在运行时能够获取自身的信息。在java中,只要给定类的名字,那么就可以通过反射机制来获得类的所有信息.反射机制的优点就是可以实现动态创建对象和编译,体现出很大的灵活性,特别是在J2EE的开发中它的灵活性就表现的十分明显。 当程序主动使用某个类时 阅读全文
posted @ 2017-01-22 09:41 绵羊大神 阅读(216) 评论(1) 推荐(0) 编辑