摘要：
导读： 第一节：简介 1：六大特性 2：基础 Option Nil 数组 列表 集合 元组 Map 函数 类和对象 特性 模式匹配 文件IO scala语法： http://note.youdao.com/noteshare?id=da59efd9487725f23c11c31ce0c81da8 第 阅读全文
摘要：
本章目录 一 kafka简介 二 kafka安装 三 kafka测试 四 zk安装 一 kafka简介： 1、角色： broker（一个kafka节点） producers（生产者） topic（主题） consumers（消费者，消费者可以配置组，让这一组消费哪个主题，在一个分区中的生产与消费是有 阅读全文
摘要：
一 概述nginx：（实现负载的方式还有lvs，lvs是在传输层，nginx是在应用层，本人对7层网络协议什么的也不是很清楚，这个要自行"脑补"了....） 可以做服务的反向代理，负载均衡，动静分离，为了HA高可用，需要搭建nginx的集群，实现上述的功能需要配置 nginx.conf。 二 名词解 阅读全文
摘要：
如果有新知识，需要完善的知识，本人表达错误的地方，等等。欢迎大家留言，一起进步。 在博客 java-完整项目搭建 中有具体应用。 章节目录： 一：基础 二：持久化 三：架构 四：搭建 五：与springboot整合 一：基础 k.v形式，基于内存，支持多种类型。 具体的参考网络上资料。 二：持久化 阅读全文
摘要：
导读： 第一节：原理与过程 1：底层 2：过程 第二节：集群策略与搭建 1：分发策略 2：搭建 第三节：对比 1：对比solr 2：对比数据库 第四节：操作 1：rest，curl 2：java操作 第一节：原理与过程 1、底层（基于luceue框架） Luceue： 倒排索引 对数据进行分词处理， 阅读全文
摘要：
导读： 第一节：基础架构 1：编程模型 2：架构 3：数据传输 4：高可靠性 5：高维护性 6：数据处理方式 7：对比MR，SPARK 第二节：计算模型 1：spout 2：bolt 3：stream grouping 4：构建拓扑与提交 第三节：架构 第四节：部署 第五节：数据处理 1：同步计算 阅读全文
摘要：
前言 ： 下面可能用的很多计算的词语，理解是计算不是单单1+1是计算，对于计算机而言，任何的程序执行就是一个计算过程。 1：计算过程区别（关键字：并行计算） 传统的计算方式： 一个文件数据->开始计算（整个文件有多少数据就计算多少，从头到尾）->计算结束 并行计算： 一个文件数据->拆分存储在一个集 阅读全文
摘要：
导读目录 第一节：sparksql 1：简介 2：核心 3：与hive整合 4：dataFrame 5：函数 第二节：spark Streaming 1：对比strom 2：DStream的算子 3：代码 4：driver HA 5：读取数据 第三节：spark调优 第一节：sparksql （1） 阅读全文
摘要：
导读目录 第一节：代码层面 1：RDD创建 2：算子 3：数据持久化算子 4：广播变量 5：累加器 6：开发流程 第二节：Shuffle优化层面 1：Shuffle 2：调优 第一节：代码层面 （1）RDD创建： Java: sc.textfile sc.parallelize() sc.paral 阅读全文
摘要：
导读：版本1.6，2.0 之前的数据批量处理，流式处理基本低spark的天下，现在有flink，blink（据说是阿里的flink内部版本）也开始开源了。 正在学习中，我更加偏向flink（spark是以批处理为数据的处理方式，sparkStreaming属于微批处理；flink是以纯流式的数据处理 阅读全文