摘要：
一、问题重现 楼主在使用feign进行声明式服务调用的时候发现，当GET请求为多参数时，为方便改用DTO对象进行参数传递。但是，在接口调用时feign会抛出一个405的请求方式错误： API接口层代码如下： 服务端实现： feign客户端调用： 检查feign调用方式与服务端所声明的方式一致，但是为 阅读全文
摘要：
一、背景 pdfbox作为Apache开源的PDF操作工具，允许创建新的PDF文档，操作现有文档，以及从文档中提取内容的能力。Apache PDFBox还包括一些命令行实用工具。本文楼主主要介绍其中的PDF转图片的功能，有其他功能需求的同学，可以去官网读读文档，https://pdfbox.apac 阅读全文
摘要：
一、背景 前段时间，LZ的boss突然给了出了这样一个需求：将原项目中的所有文章关联的附件TXT、PDF、office相关文件全部以flash的形式在网页上进行展示，便于预览。看似简单的需求，整个研发小组都懵逼的。LZ也没办法只好Google一把，找了好几套解决方案，基本上是调第三方软件的API，像 阅读全文
摘要：
一、背景 有一些时候，多个团队需要共同完成一个任务，比如，A团队将Hadoop集群计算的结果交给B团队继续计算，B完成了自己任务再交给C团队继续做。这就有点像业务系统的工作流一样，一环一环地传下 去，直到最后一部分完成。在业务系统中，我们经常会用SOA的架构来解决这种问题，每个团队在ESB（企业服务 阅读全文
摘要：
通常网站日志采集的数据是不规则的，同时也包含了许多无用的日志。当需要分析一些核心指标来满足系统业务决策的时候，对日志的数据清洗在所难免，楼主本篇将介绍如何使用mapreduce程序对日志数据进行清洗，将清洗后的结构化数据存储到hive，并进行相关指标的提取。 阅读全文
摘要：
一、Flume简介 Flume是一个分布式的、高可用的海量日志收集、聚合和传输日志收集系统，支持在日志系统中定制各类数据发送方（如：Kafka，HDFS等），便于收集数据。其核心为agent，agent是一个java进程，运行在日志收集节点。 agent里面包含3个核心组件：source、chann 阅读全文
摘要：
概述 简单hdfs高可用架构图 在hadoop2.x中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时 阅读全文
摘要：
上篇Hadoop之HDFS原理及文件上传下载源码分析（上）楼主主要介绍了hdfs原理及FileSystem的初始化源码解析， Client如何与NameNode建立RPC通信。本篇将继续介绍hdfs文件上传、下载源解析。 文件上传 先上文件上传的方法调用过程时序图： 其主要执行过程： 下面我们来看下 阅读全文
摘要：
本文主要介绍hadoop之hdfs原理及文件上传下载的源码解析上半部分，包括hdfs原理、NameNode元数据存储、文件上传下载过程及FileSystem的初始化源码解析...... 阅读全文
摘要：
一、RPC概述 RPC是指远程过程调用，也就是说两台不同的服务器（不受操作系统限制），一个应用部署在Linux-A上，一个应用部署在Windows-B或Linux-B上，若A想要调用B上的某个方法method()，由于不在一个内存空间，不能直接调用，需要通过网络来表达调用的语意和传达调用的参数。 楼 阅读全文