beipiaodiaosi

摘要： 1、基于 Hadoop 的一个数据仓库工具 2、可以将结构化的数据映射为一张数据库表 3、提供 HQL(Hive SQL)查询功能 4、底层数据是存储在 HDFS 上 5、本质是将 SQL 语句转换为 MapReduce 任务运行 6、使不熟悉 MapReduce 的用户很方便地利用 HQL 处理和 阅读全文

摘要： 数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。 阅读全文

摘要： SELECT语句关键字的定义顺序 SELECT语句关键字的执行顺序 (7) SELECT (8) DISTINCT <select_list> (1) FROM <left_table> (3) <join_type> JOIN <right_table> (2) ON <join_conditio 阅读全文

摘要： Producer ：消息生产者，就是向 kafka broker 发消息的客户端 Consumer ：消息消费者，向 kafka broker 拉取消息的客户端 Topic ：可以理解为一个队列 Consumer Group （CG）：这是kafka用来实现一个topic消息的广播（发给所有的con 阅读全文

摘要： Nimbus 资源调度任务分配 接收jar包Supervisor接收nimbus分配的任务 启动、停止自己管理的worker进程Worker 运行具体处理运算组件的进程HadoopStorm主节点ResourceManagerNimbus从节点NodeManagerSupervisor应用程序Job 阅读全文

摘要： 对比点Spark StreamingStorm 实时计算模型 准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理 纯实时，来一条数据处理一条数据 实时计算延迟度 秒级 毫秒级 吞吐量 高 低 事务机制 支持，但不够完善 支持完善 健壮性 / 容错性 Checkpoint，WAL，一般 ZooKeeper，Acker，非常强 动态调整并行度 不支持 支持 ... 阅读全文

摘要： Elasticsearch是一个基于Lucene的实时的分布式搜索和分析引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。基于RESTful接口。cluster 代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。 阅读全文

摘要： ESSOLR接口REST风格的访问接口类似webservice的接口分布式存储es是为分布式而生的solrCloud solr4.x才支持支持的格式jsonxml json检索速度近实时 阅读全文

摘要： 在搜索引擎中每个文件都对应一个文件ID，文件内容被表示为一系列关键词的集合（实际上在搜索引擎索引库中，关键词也已经转换为关键词ID）。 例如：“文档1”经过分词，提取了20个关键词，每个关键词都会记录它在文档中的出现次数和出现位置。得到正向索引的结构如下： “文档1”的ID > 单词1：出现次数，出 阅读全文

摘要： 统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡 统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡 阅读全文