摘要：
阅读全文
摘要：
大数据学习路线 一、大数据处理流程 1.1 数据收集 1.2 数据存储 1.3 数据分析 1.4 数据应用 1.5 其他框架 二、学习路线 2.1 语言基础 2.2 Linux 基础 2.3 构建工具 2.4 框架学习 三、开发工具 四、结语 一、大数据处理流程 上图是一个简化的大数据处理流程图，大 阅读全文
摘要：
大数据应用常用打包方式 一、简介 二、mvn package 三、maven-assembly-plugin插件 四、maven-shade-plugin插件 五、其他打包需求 1. 使用非Maven仓库中的Jar 2. 排除集群中已经存在的Jar 3. 打包Scala文件 一、简介 在提交大数据作 阅读全文
摘要：
这里分享一些自己学习过程中觉得不错的资料和开发工具。 :book: 经典书籍 《hadoop 权威指南 (第四版)》 2017 年 《Kafka 权威指南》 2017 年 《从 Paxos 到 Zookeeper 分布式一致性原理与实践》 2015 年 《Spark 技术内幕 深入解析 Spark 阅读全文
摘要：
数据仓库实战合集 基于Hadoop的数据仓库Hive基础知识 阿里云10 PB+／天的日志系统设计和实现 DB、DW、DM、ODS、OLAP、OLTP和BI的概念理解 从0建设离线数据仓库 OLTP与OLAP的区别精简总结 Apache Phoenix系列 | 真 · 从入门到精通 大数据平台演进之 阅读全文
摘要：
面试系列 语言和计算机基础 你不得不知道的知识-零拷贝 阿里云Redis开发规范 面试系列：十个海量数据处理方法大总结 一致性协议浅析：从逻辑时钟到Raft 你确定不来了解一下Redis中字符串的原理吗 关于Redis的几件小事 | 使用目的与问题及线程模型 关于Redis的几件小事 | Redis 阅读全文
摘要：
OLAP 实战和面试系列 Hive使用必知必会系列 一个小知识点-Hive行转列实现Pivot HBase在滴滴出行的应用场景和最佳实践 Phoenix=HBase+SQL,让HBase插上了翅膀 一个知识点将你拒之门外之Hbase的二级索引 Phoenix重磅 | Phoenix核心功能原理及应用 阅读全文
摘要：
Kafka实战系列 Apache Kafka简单入门 Kafka在字节跳动的实践和灾备方案 Kafka 最佳实践 Kafka Exactly-Once 之事务性实现 Kafka连接器深度解读之错误处理和死信队列 基于Kafka+ELK搭建海量日志平台 聊聊page cache与Kafka之间的事儿 阅读全文
摘要：
Flink实战进阶文章合集 菜鸟供应链实时技术架构演进 趣头条实战-基于Flink+ClickHouse构建实时数据平台 ApacheFlink新场景-OLAP引擎 说说Flink DataStream的八种物理分区逻辑 State Processor API：如何读取，写入和修改 Flink 应用 阅读全文
摘要：
Spark实战进阶文章合集 如果你在准备面试，好好看看这130道题 ORC文件存储格式的深入探究 基于SparkStreaming+Kafka+HBase实时点击流案例 HyperLogLog函数在Spark中的高级应用 我们常说的海量小文件的根源是什么？ Structured Streaming 阅读全文