摘要： 介绍 Quartz框架是一个全功能、开源的任务调度服务，可以集成几乎任何的java应用程序—从小的单片机系统到大型的电子商务系统。Quartz可以执行上千上万的任务调度。 核心概念 Quartz核心的概念：scheduler任务调度、Job任务、Trigger触发器、JobDetail任务细节 Jo 阅读全文

摘要： 首先，Java中的getResourceAsStream有以下几种： 1. Class.getResourceAsStream(String path) ： path 不以’/'开头时默认是从此类所在的包下取资源，以’/'开头则是从ClassPath根下获取。其只是通过path构造一个绝对路径，最终 阅读全文

摘要： mapreduce的shuffle机制 概述： mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle； shuffle: 洗牌、发牌——（核心机制：数据分区，排序，缓存）； 具体来说：就是将maptask输出的处 阅读全文

摘要： RPC调用需要服务端和客户端使用相同的协议： 协议： 这里协议就是接口 服务端的实现类： 发布服务： 客户端调用RPC服务： 使用的hadoop的hadoop-common-2.6.4.jar这个j包，在其他工程也可以使用 阅读全文

摘要： 1.作用使用crontab命令可以修改crontab配置文件，然后该配置由cron公用程序在适当的时间执行，该命令使用权限是所有用户。2.格式crontab [-u user] {-l | -r | -e}3.主要参数-e:执行文字编辑器来设定时程表，内空的文字编辑器是vi-r:删除目前的时程表-l 阅读全文

摘要： shell日志采集 需求说明 点击流日志每天都10T，在业务应用服务器上，需要准实时上传至数据仓库（Hadoop HDFS）上 需求分析 一般上传文件都是在凌晨24点操作，由于很多种类的业务数据都要在晚上进行传输，为了减轻服务器的压力，避开高峰期。 如果需要伪实时的上传，则采用定时上传的方式 技术分 阅读全文

摘要： 简介： Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上； 1.1为什么要MAPREDUCE （1）海量数据在 阅读全文

摘要： hadoop底层用流调用的api 本代码来自传智播客，版权归传智播客所有 阅读全文

摘要： 设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； 在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务 重点概念：文件切块，副本存放，元数据 HDSF的重要特性 首先，它是一个 阅读全文

摘要： 今天在centos上装mysql时，安装完后也没有让设置密码，当登陆时报错。 意思是密码过期。重新设置密码： 1.先停止mysql服务：service mysqld stop 2.输入 mysqld_safe --user=mysql --skip-grant-tables --skip-netwo 阅读全文