摘要：
基本介绍：Ehcache 是一种基于标准的开源缓存，可提高性能，卸载数据库并简化可伸缩性。 它是使用最广泛的基于 Java 的缓存，因为它功能强大，经过验证，功能齐全，并与其他流行的库和框架集成。 Ehcache 可以从进程内缓存扩展到使用 TB 级缓存的混合进程内/进程外部署。 Ehcache 应 阅读全文
摘要：
https://help.aliyun.com/product/31815.html 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，可提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。多种存储类型 阅读全文
摘要：
什么是 HTTP ？ 超文本传输协议（HTTP）的设计目的是保证客户端与服务器之间的通信。 HTTP 的工作方式是客户端与服务器之间的请求-应答协议。 web 浏览器可能是客户端，而计算机上的网络应用程序也可能作为服务器端。 举例：客户端（浏览器）向服务器提交 HTTP 请求；服务器向客户端返回响应 阅读全文
摘要：
shell定时上传linux日志信息到hdfs 从标题可以分析出来，我们要使用到shell，还要推送日志信息到hdfs上。 定义出上传的路径和临时路径，并配置好上传的log日志信息。这里我使用了上一节配置的nginx的error.log #上传log日志文件的存放路径 /bigdata/logs/u 阅读全文
摘要：
HDFS shell API HDFS作为大数据的文件系统，可以放置数据文件，列举几个常用的shell脚本命令，用法和linux中的基本类似，不过这个是hadoop里的一套，所以我们要用hadoop fs开头具体可以使用hadoop fs --help 查看帮助信息 例如：lshadoop fs - 阅读全文
摘要：
Hadoop概述信息 hadoop 有三大组成部分，HDFS（分布式文件存储系统）、YARN（资源管理器）、MAPREDUCE（分布式计算框架） ,下边我们来简单介绍一下 HDFS 分布式文件存储系统 HDFS分布式文件系统，是由Google的GFS谷歌文件系统开源出来，其存储模型是有主从结构的，可 阅读全文
摘要：
前言 本篇文章是我基于拉勾kafka课程所作的笔记，包括Kafka基本架构、核心概念、生产者解析、消费者解析、存储、事务、一致性保证等等，希望对大家有所帮助。 一、kafka架构 Kafka基础知识 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多生产者、多订阅者，基于 阅读全文
摘要：
CentOS7更换yum为阿里源 1 备份本地源mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2 获取阿里源配置文件CentOS 6wget -O /etc/yum.repos.d/Cent 阅读全文
摘要：
1、Maxwell 简介 Maxwell 是一个能实时读取 MySQL 二进制日志文件binlog，并生成 Json格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、维 阅读全文
摘要：
1 Kafka简介 Kafka是最初由Linkedin公司开发，它是一个分布式、可分区、多副本，基于zookeeper协调的分布式日志系统；常见可以用于web/nginx日志、访问日志，消息服务等等。Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集 阅读全文