摘要：
1、概念HDFS，它是一个文件系统(window电脑磁盘是NTFS)，用于存储文件，通过目录树来定位，其次它是分布式的，由很多服务器联合起来实现其功能，由很多服务器联合起来实现其功能HDFS的内部工作机制对客户端保持透明，客户端请求访问HDFS都是通过namenode申请来进行的HDFS的设计是个一 阅读全文
摘要：
一、概念 java对象序列化的意思就是将对象的状态转化成字节流，以后可以通过这些值再生成相同状态的对象。对象序列化是对象持久化的一种实现方法，它是将对象的属性和方法转化为一种序列化的形式用于存储和传输。反序列化就是根据这些保存的信息重建对象的过程。 序列化：将java对象转化为字节序列的过程。 反序 阅读全文
摘要：
<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd"><mapp 阅读全文
摘要：
1、数据库创建好表。 2、src\main\resources\mybatis\mybatis-generator.xml 创建mybatis-generator.xml 文件，内容如下： <?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE genera 阅读全文
摘要：
1、创建工程。 2、src\main\resources\application.properties中配置端口号、日志记录等信息。比如： server.port=8081 logging.file.path=spring/log。 3、添加Application类: @EnableCaching 阅读全文
摘要：
任何类型的数据都是作为事件流产生的。信用卡交易，传感器测量，机器日志或网站或移动应用程序上的用户交互，所有这些数据都作为流生成。 数据可以作为无界或有界流处理。 1、无界流有一个开始但没有定义的结束。它们不会在生成时终止并提供数据。必须持续处理无界流，即必须在摄取事件后立即处理事件。无法等待所有输入 阅读全文
摘要：
一. Flink的引入 这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身 阅读全文
摘要：
高吞吐率：在廉价的商用机器伤单机可支持每秒100W条消息的读写。 消息持久化：所有消息均被持久化到硬盘，无效丢失，支持消息重放。 完全分布式： producer、Broker、Consumer均支持水平扩展。 同时满足适应在线流处理和离线批处理。 阅读全文
摘要：
kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。 Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)称为 阅读全文
摘要：
点对点：Queue，不可重复消费 消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并且消费消息。消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。 发布/订阅：Topi 阅读全文