摘要：
https://help.aliyun.com/product/31815.html 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，可提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。多种存储类型 阅读全文
摘要：
什么是 HTTP ？ 超文本传输协议（HTTP）的设计目的是保证客户端与服务器之间的通信。 HTTP 的工作方式是客户端与服务器之间的请求-应答协议。 web 浏览器可能是客户端，而计算机上的网络应用程序也可能作为服务器端。 举例：客户端（浏览器）向服务器提交 HTTP 请求；服务器向客户端返回响应 阅读全文
摘要：
shell定时上传linux日志信息到hdfs 从标题可以分析出来，我们要使用到shell，还要推送日志信息到hdfs上。 定义出上传的路径和临时路径，并配置好上传的log日志信息。这里我使用了上一节配置的nginx的error.log #上传log日志文件的存放路径 /bigdata/logs/u 阅读全文
摘要：
HDFS shell API HDFS作为大数据的文件系统，可以放置数据文件，列举几个常用的shell脚本命令，用法和linux中的基本类似，不过这个是hadoop里的一套，所以我们要用hadoop fs开头具体可以使用hadoop fs --help 查看帮助信息 例如：lshadoop fs - 阅读全文
摘要：
Hadoop概述信息 hadoop 有三大组成部分，HDFS（分布式文件存储系统）、YARN（资源管理器）、MAPREDUCE（分布式计算框架） ,下边我们来简单介绍一下 HDFS 分布式文件存储系统 HDFS分布式文件系统，是由Google的GFS谷歌文件系统开源出来，其存储模型是有主从结构的，可 阅读全文
摘要：
前言 本篇文章是我基于拉勾kafka课程所作的笔记，包括Kafka基本架构、核心概念、生产者解析、消费者解析、存储、事务、一致性保证等等，希望对大家有所帮助。 一、kafka架构 Kafka基础知识 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多生产者、多订阅者，基于 阅读全文