摘要: configure: error: zlib library and headers are required (1)直接看是zlib没安装导致的,yum list |grep zlib* 看到的是全部都安装好的; (2)直接打开configure,这个是一个shell脚本,找到报错的这一行;设置s 阅读全文
posted @ 2016-07-29 15:57 唠叨阁大学士 阅读(8704) 评论(0) 推荐(0) 编辑
摘要: letcode里面刷题,坑还是链表不熟,(1)头结点还是有必要设置,否则返回的时候找不到位置;(2)先设置next到新节点再next到下一个节点;都是基础知识 阅读全文
posted @ 2016-07-25 19:48 唠叨阁大学士 阅读(374) 评论(0) 推荐(0) 编辑
摘要: Scala的Option类型 为了让所有东西都是对象的目标更加一致,也为了遵循函数式编程的习惯,Scala鼓励你在变量和函数返回值可能不会引用任何值的时候使用Option类型。在没有值的时候,使用None,这是Option的一个子类。如果有值可以引用,就使用Some来包含这个值。Some也是Opti 阅读全文
posted @ 2016-07-25 17:55 唠叨阁大学士 阅读(4272) 评论(0) 推荐(0) 编辑
摘要: Flume:Flume是一个分布式,可依赖的,用于高效率的收集、聚类、移动大量数据的服务。Flume使用基于流数据的简单而且可扩展的架构。由于拥有可调的依赖机制和许多故障恢复机制,Flume是健壮而且容错的。Flume使用简单的可扩展的数据模型,能够用于在线数据分析。 官网:http://flume 阅读全文
posted @ 2016-06-23 15:18 唠叨阁大学士 阅读(295) 评论(0) 推荐(0) 编辑
摘要: Apache Flink是一个分布式流式和批量数据处理的开源平台。 Flink的核心是一个流式数据流动引擎,它为数据流上面的分布式计算提供数据分发、通讯、容错。Flink包括几个使用 Flink引擎创建应用程序的编程接口: 1. DataStream API 集成在Java和Scala中中的流数据格 阅读全文
posted @ 2016-06-23 14:30 唠叨阁大学士 阅读(1138) 评论(0) 推荐(0) 编辑
摘要: 2012年秋季Facebook启动了Presto,Presto的目的是在几百PB级别数据量上面进行准实时分析。在摒弃了一些外部项目以后,Facebook准备开发他们自己的分布式查询引擎。Presto的语法基于ANSI SQL,大多数分布式查询引擎需要用户去学习一种新的语法,有的语法类似SQL,但是没 阅读全文
posted @ 2016-06-22 18:04 唠叨阁大学士 阅读(2401) 评论(0) 推荐(0) 编辑
摘要: 基于hadoop2.6.4,RPC相关的实现位于hadoop-common这个project中hadoop-common-project/hadoop-common/src/main/java的包package org.apache.hadoop.ipc中 而在hadoop-common-proje 阅读全文
posted @ 2016-06-21 20:22 唠叨阁大学士 阅读(319) 评论(0) 推荐(0) 编辑
摘要: java中动态反射能达到的效果和python的语法糖很像,能够截获方法的实现,在真实方法调用之前和之后进行修改,甚至能够用自己的实现进行特别的替代,也可以用其实现面向切片的部分功能。动态代理可以方便实现AOP,AOP将应用系统分为两部分,核心业务逻辑(Core business concerns)及 阅读全文
posted @ 2016-06-21 17:45 唠叨阁大学士 阅读(239) 评论(0) 推荐(0) 编辑
摘要: 资源管理器高可用性 . The ResourceManager (RM) is responsible for tracking the resources in a cluster, and scheduling applications (e.g., MapReduce jobs). Prior 阅读全文
posted @ 2016-06-16 19:41 唠叨阁大学士 阅读(2311) 评论(0) 推荐(1) 编辑
摘要: inode满,磁盘满,crontab 阅读全文
posted @ 2016-06-15 10:52 唠叨阁大学士 阅读(508) 评论(0) 推荐(0) 编辑