摘要：
Apache Spark 2.2最近引入了高级的基于成本的优化器框架用于收集并均衡不同的列数据的统计工作 (例如., 基（cardinality）、唯一值的数量、空值、最大最小值、平均/最大长度，等等）来改进查询类作业的执行计划。均衡这些作业帮助Spark在选取最优查询计划时做出更好决定。这些优化的 阅读全文
摘要：
我们兴奋的宣布Databricks缓存的通用可用性，作为统一分析平台一部分的 Databricks 运行时特性，它可以将Spark工作负载的扫描速度提升10倍，并且这种改变无需任何代码修改。 1、在本博客中，我们将介绍这个新特性的两个主要特点：易用性和性能。 2、不同于Spark显示缓存，Datab 阅读全文
摘要：
1 背景 前段时间京东公开了面向第二个十二年的战略规划，表示京东将全面走向技术化，大力发展人工智能和机器人自动化技术，将过去传统方式构筑的优势全面升级。京东Y事业部顺势成立，该事业部将以服务泛零售为核心，着重智能供应能力的打造，核心使命是利用人工智能技术来驱动零售革新。 1.1 京东的供应链 京东一 阅读全文
摘要：
1，看您有维护博客，还利用业余时间著书，在技术输出、自我提升以及本职工作的时间利用上您有没有什么心得和大家分享？（也可以包含一些您写书的小故事。）回答：在工作之余能够写博客、著书主要对技术的坚持和热爱。自己平时除了工作时间回到家还得陪家人，用于自己学习的时间并不算多，自己每天在上下班的班车会看自己感 阅读全文
摘要：
1 Storm介绍 Storm是由Twitter开源的分布式、高容错的实时处理系统，它的出现令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。 在Storm的集群里面有两种节点：控制节点(Mas 阅读全文
摘要：
Netty是由JBOSS开发的高性能、异步事件驱动的NIO框架，它提供了对TCP、UDP和文件传输等协议的支持，作为一个异步NIO框架，Netty的所有IO操作都是异步非阻塞的，通过Future-Listener机制，用户可以方便的主动获取或者通过通知机制获得IO操作结果。作为当前最流行的NIO框架 阅读全文
摘要：
E.1 安装Kafka E.1.1 下载Kafka Kafka是由LinkedIn设计的一个高吞吐量、分布式、基于发布订阅模式的消息系统，使用Scala编写，它以可水平扩展、可靠性、异步通信和高吞吐率等特性而被广泛使用。目前越来越多的开源分布式处理系统都支持与Kafka集成，其中Spark Stre 阅读全文
摘要：
D.1 安装ZooKeeper D.1.1 下载ZooKeeper ZooKeeper是Apache基金会的一个开源、分布式应用程序协调服务，是Google的Chubby一个开源的实现。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。它的目标就是封 阅读全文
摘要：
如果需要直接安装Hive，可以跳过编译步骤，从Hive的官网下载编译好的安装包，下载地址为http://hive.apache.org/downloads.html 。 C.1 编译Hive C.1.1 下载Hive源代码包 在Hive的官网下载页面上下载，为加快下载速度选择中国境内的镜像，并下载a 阅读全文
摘要：
B.1 卸载旧的MaySql程序 第一步 查找以前是否安装有mysql 使用命令查看是否已经安装过mysql： #rpm -qa | grep -i mysql 如果没有结果，则可以进行mysql数据库安装 第二步 如果有，则先停止mysql服务并删除之前安装的mysql 如果之前安装过MySql， 阅读全文