摘要:本项目分析apache服务器产生的日志,分析pv、独立ip数和跳出率等指标。其实这些指标在第三方系统中都可以检测到,在生产环境中通常用来分析用户交易等核心数据,此处只是用于演示说明日志数据的分析流程。一、需求分析 我们可以编写执行的shell脚本,将apache每天产生的日志上传到HDFS中,... 阅读全文
Java反射与动态代理
2015-05-07 20:45 by hduhans, 4894 阅读, 4 推荐, 收藏, 编辑
摘要:Java反射机制可以动态地获取类的结构,动态地调用对象的方法,是java语言一个动态化的机制。java动态代理可以在不改变被调用对象源码的前提下,在被调用方法前后增加自己的操作,极大地降低了模块之间的耦合性。这些都是java的基础知识,要想成为一名合格的程序猿,必须掌握!Java反射机制 JA... 阅读全文
使用maven来管理您的java项目
2015-05-01 21:48 by hduhans, 1994 阅读, 1 推荐, 收藏, 编辑
摘要:maven是一个项目管理工具,使用maven可以自动管理java项目的整个生命周期,包括编译、构建、测试、发布和报告等。在大型项目开发中,使用maven来管理是必不可少的。 一、安装maven 1、Windows安装 1) 从官网(http://maven.apache.org/download.c 阅读全文
使用MapReduce实现一些经典的案例
2015-05-01 18:10 by hduhans, 2800 阅读, 0 推荐, 收藏, 编辑
摘要:在工作中,很多时候都是用hive或pig来自动化执行mr统计,但是我们不能忘记原始的mr。本文记录了一些通过mr来完成的经典的案例,有倒排索引、数据去重等,需要掌握。一、使用mapreduce实现倒排索引 倒排索引(Inverted index),也常被称为反向索引、置入档案或反向档案,是一种... 阅读全文
编译本地64位版本的hadoop-2.6.0
2015-03-19 11:32 by hduhans, 5889 阅读, 0 推荐, 收藏, 编辑
摘要:官方提供的hadoop-2.x版本貌似都是32位的,在64位机子下使用可能会报错,最好使用官方提供的源码进行本地编译,编译成适合本地硬件环境的64位软件包。关于native Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Lib... 阅读全文
Java基础必备 -- 堆栈、引用传值、垃圾回收等
2015-03-16 14:59 by hduhans, 1007 阅读, 1 推荐, 收藏, 编辑
摘要:在Java中,对象作为函数参数的传递方式是值传递还是引用传递?String str = "abc" 与 String str = new String("abc")在存储上有何区别?想成为一名合格的搬砖工,掌握吧,颤抖吧! 堆(heap)和栈(stack) 在数据结构中存在堆和栈,在内存分配中也有堆 阅读全文
设计模式之 -- 状态模式(State)
2015-03-10 15:07 by hduhans, 648 阅读, 0 推荐, 收藏, 编辑
摘要:状态模式允许对象在内部状态改变时改变它的行为,对象看起来好像修改了它的类。当控制一个对象的状态转换条件分支语句(if...else或switch...case)过于复杂时,可以此模式将状态的判断逻辑转移到不同状态的一系列类中,将复杂的逻辑简单化,便于阅读与维护。概述1、为什么要使用状态模式? ... 阅读全文
函数式编程初识篇
2015-03-05 18:08 by hduhans, 539 阅读, 0 推荐, 收藏, 编辑
摘要:函数式编程是一种编程模型,它很古老,已经有了五六十年的发展历史。随着21世纪互联网的高速发展,函数式编程获得了越来越高的关注度。不仅最古老的语言Lisp重获新春,而且涌现出了一系列新的函数式语言,有Erlang、python、Haskell、clojure、Scala、F#等。而且在.NET和J... 阅读全文
如何编写常见语言带默认参数值的函数
2015-03-03 20:49 by hduhans, 954 阅读, 0 推荐, 收藏, 编辑
摘要:我们在定义函数时,有时候需要让参数带默认值,在各种语言中,带默认值的参数写法也不尽相同。C#函数默认值 public void DemoMethod(String name, String job="programmer", String address="Hangzhou") { }1、赋值... 阅读全文
Hadoop学习(5)-- Hadoop2
2015-01-28 09:14 by hduhans, 1277 阅读, 0 推荐, 收藏, 编辑
摘要:在Hadoop1(版本=0.23)诞生了,可以支持分布式NameNode、NameNode HA(NameNode High Available),实现了NameNode的横向扩展,使得集群规模最大可支持上万个节点。一、Hadoop2介绍1、Hadoop1局限性 NameNode存储用户HDF... 阅读全文