摘要：
一、入门 概念就不再赘述了，由于一般我们是通过service控制事务，这里给出注解式的示例： controller层就可以调用了： 还有更多关于隔离级别等的控制： 参考：http://blog.didispace.com/springboottransactional/ 阅读全文
摘要：
一、Spring-Data-Jpa的引入 先给出官方文档：https://docs.spring.io/spring-data/jpa/docs/current/reference/html/ IBM的相关教程：https://www.ibm.com/developerworks/cn/openso 阅读全文
摘要：
一、概述 controller的分类： 相关的使用方式和springMVC的类似了，细节不再赘述 二、Controller使用 1.使用@controller注解 直接使用会报一个错： 原因是缺少了模板的渲染，springboot支持的模板如下： Thymeleaf FreeMarker Veloc 阅读全文
摘要：
一、概述 application.properties就是springboot的属性配置文件 在使用spring boot过程中，可以发现项目中只需要极少的配置就能完成相应的功能，这归功于spring boot中的模块化配置，在pom.xml中依赖的每个Starter都有默认配置，而这些默认配置足以 阅读全文
摘要：
一、起步 1.先导 凡技术必登其官网的原则，官网走一波：https://projects.spring.io/spring-boot/#quick-start 极力推荐一个springboot教程：https://gitee.com/didispace/SpringBoot-Learning 2.s 阅读全文
摘要：
一、HA概述 1.引言 正式引入HA机制是从hadoop2.0开始，之前的版本中没有HA机制 2.运行机制 实现高可用最关键的是消除单点故障 hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA 详解： 通过双namenode消除单点故障 双namenode协调工作 阅读全文
摘要：
一、自定义in/outputFormat 1.需求 现有一些原始日志需要做增强解析处理，流程： 1、 从原始日志文件中读取数据 2、 根据日志中的一个URL字段到外部知识库中获取信息增强到原始日志 3、 如果成功增强，则输出到增强结果目录；如果增强失败，则抽取原始数据中URL字段输出到待爬清单目录 阅读全文
摘要：
一、数据倾斜分析——mapJoin 1.背景 接上一个day的Join算法，我们的解决join的方式是：在reduce端通过pid进行串接，这样的话： 例如订单中的小米5卖的比较好（截止博客时间，已经是米7将出的时候了。），这样的话大部分的数据都流向了P0001的这个reduce上，而P0002 的 阅读全文
摘要：
一、起步 引入依赖： 当然，一般可能项目中不会需要单独引入这个依赖，可能其他依赖自动引入了此包，请先检查，避免重复引入！ 二、开始 文档：http://commons.apache.org/proper/commons-beanutils/javadocs/v1.9.3/apidocs/org/ap 阅读全文
摘要：
一、本地模式调试MR程序 1.准备 参考之前随笔的windows开发说明处：http://www.cnblogs.com/jiangbei/p/8366238.html 2.流程 最重要的是设置LocalJobRunner这个参数，这样mapreduce就变成一个线程在跑了！ 而处理的数据及输出结果 阅读全文