摘要：
Scala 函数 1. 函数定义语法 2. 递归函数 阶乘 3. 包含参数默认值的函数 默认值的函数中，如果传入的参数个数与函数定义相同，则传入的数值会覆盖默认值 如果不想覆盖默认值，传入的参数个数小于定义的函数的参数，则需要指定参数名称。 4. 可变参数个数的函数scala 函数声明中 参数类型后 阅读全文
摘要：
最近看流式系统的时候有提到Exactly Once 策略 可以使用布隆过滤器(Bloom Filter) 优化, 所以今天来整理一下与其相关的知识 (非科班, 底子比较薄)。 应用原理: Bloom Filter can return false positives but never false 阅读全文
摘要：
1. 简介 是一个分布式, 高容错的 实时计算框架 Storm进程常驻内存, 永久运行 Storm数据不经过磁盘, 在内存中流转, 通过网络直接发送给下游 流式处理(streaming) 与 批处理(batch) 批处理(batch): MapReduce 微批处理(MircroBatch): Sp 阅读全文
摘要：
什么是AQS？ 全称: Abstract Queued Synchronizer: 抽象队列同步器 是 java.util.concurrent.locks包下的一个抽象类 其编写者: Doug Lea (并发大佬, 整个j.u.c包都是他写的) 是 j.u.c 包的基础组件(核心) 我们先来读一下 阅读全文
摘要：
五大类型操作系统 (1). 批处理操作系统 用户脱机使用计算机 用户提交作业之后直到获得结果之前就不再和计算机打交道。 作业提交的方式可以是直接交给计算中心的管理操作员，也可以是通过远程通讯线路提交。 提交的作业由系统外存收容成为后备作业。 成批处理 操作员把用户提交的作业分批进行处理 每批中的作业 阅读全文
摘要：
Kafka简介 Kafka 是一个高吞吐量、低延迟分布式的消息队列。kafka每秒可以处理几十万条消息, 它的延迟最低只有几毫秒。 Kafka 模型 kafka 提供了一个生产者、缓冲区、消费者的模型 Broker：kafka集群有多个服务器组成, 用于存储数据(消息) Topic： 不同的数据(消 阅读全文
摘要：
Redis的使用 Redis key 值是二进制安全的, 可以用任何二进制序列作为key值, 无论是简单字符串还是JPEG文件的内容皆可。空字符串也是有效key值。 切换数据库 select databaseid 选中数据库 (redis 默认有16个实例库, 0~15, 登录时默认库0) Key操 阅读全文
摘要：
1. Lucene是什么 Lucene是一个开源的全文检索引擎工具包, 但它不是一个完整的全文检索引擎, 而是一个全文检索引擎的架构, 提供了完整的查询引擎和搜索引擎以及部分文本分析引擎。可以把它理解成一个信息检索程序库, 而不是应用产品, 具体的功能需要使用者自己去以代码实现。 2. Lucene 阅读全文
摘要：
Elasticsearch 核心概念 1. Cluster 代表一个集群, 集群中有多个节点, 其中一个为主节点, 该节点可以通过选举产生。(主从节点只针对于集群内部) 去中心化: 对于集群外来说无中心节点, 在外部看来, es集群在逻辑上是个整体, 与任何一个节点的通信 与整个 es 集群通信。 阅读全文
摘要：
行存储 与 列存储 行业业务集中焦点: 有效地处理海量数据 兼顾安全, 可靠, 完整性 example: HBase采用列存储, MongoDB采用文档型的行存储, Lexst采用二进制的行存储 列存储(column based) 传统关系型数据库行式存储(Row based storage sto 阅读全文