摘要：
在做大数据开发和分析时，其实流程和以前做数据仓库有类似的地方。第一步总是需要做数据收集、其次做数据清洗，然后才会进行后续的处理分析。那么首要的任务就是要把数据收集到一个适合的地方，如果是采用阿里云的大数据平台，这个适合的地方就ODPS。ODPS的作用就是用来存储数据和计算数据的。从我个人目前接触的数 阅读全文
摘要：
先声明一点，本人写此文章初衷只为对前段时间的工作做些总结，并做个记录，以备日后查用，此外也顺便与他人分享一下。当然间接上也为阿里云的大数据平台做了个免费广告。以下开始正文。 首先进入数加服务的控制面板，在左侧的面板上点击“BI报表” 进入报表页后，在左侧面板上会有“数据源”和“数据集”。 目前支持的 阅读全文
摘要：
问题描述： 以单机伪分布式方式安装了hadoop2.7.1，并在该机器上安装了hive1.2.1。首先执行 sbin/start-dfs.sh 启动hdfs服务，然后执行hive，这时hive脚本启动报错，提示hdfs进入了安全模式，hive无法创建临时目录，出错信息如下： 原因分析： 在hdfs的 阅读全文
摘要：
可以通过一个简单的例子来说明MapReduce到底是什么： 我们要统计一个大文件中的各个单词出现的次数。由于文件太大。我们把这个文件切分成如果小文件，然后安排多个人去统计。这个过程就是”Map”。然后把每个人统计的数字合并起来，这个就是“Reduce"。 上面的例子如果在MapReduce去做呢... 阅读全文
摘要：
在springMVC的DispatcherServlet类的doService方法中有如下代码： if (WebUtils.isIncludeRequest(request)) { attributesSnapshot = new HashMap(); Enumeration attrNa... 阅读全文
摘要：
一个比较好的框架研究的思路，分析清楚其整体接口机制后，尝试用自己的代码实现部分接口，然后在用自己的代码替换框架中的原有实现，看看运行后是否会有问题，通过这样的方式就能不断加深对框架的理解。 要先整体把握： 1. 先要会用 2. 了解其内部实现原理 3.能从宏观上说清楚框架，架构图随手能画的出来，尽可 阅读全文
摘要：
最近由于工作环境不太理想，很长时间没心情写技术博文，今天在调试springMVC的DispatcherSevlet类的代码时，看到一处代码且联想到项目中程序员的一些做法，觉得有必要写一下。 我们在做项目时，前期写的类中的一些代码可能由于需求变化的原因需要重写，有时重写时方法的传参和返回值也会... 阅读全文
摘要：
事件机制作为一种编程机制，在许多语言中都提供了支持。JAVA语言也不例外，java中的事件机制的参与者有3种角色: 1.event object 2.event source 3.event listener 这三个角色的含义字面上很好解，它们就定义了事件机制的一个基本模型。作为一种常用的编程设计机 阅读全文
摘要：
第一步在相应的web项目上配置jetty插件，配置如下： <plugin> <groupId>org.eclipse.jetty</groupId> <artifactId>jetty-maven-plugin</artifactId> <version>9.4.0.v20161208</versi 阅读全文
摘要：
一. 设置一个parent项目，parent项目的作用应该有如下方面： 1.统一管理jar包的版本，这样许多子项目只需指定依赖的jar，而无需指定所依赖jar的版本 （1）在<properties>标签内部指定版本常量，例如 <properties> <spring.webflow.version> 阅读全文