hanease

2022年3月22日

摘要：一切从示例程序开始：示例程序 Hadoop2.7 提供的示例程序WordCount.java package org.apache.hadoop.examples; import java.io.IOException; import java.util.StringTokenizer; impo 阅读全文

posted @ 2022-03-22 09:42 hanease 阅读(171) 评论(0) 推荐(0) 编辑

Hadoop家族学习路线图

摘要：原文地址：http://blog.fens.me/hadoop-family-roadmap/ Hadoop家族学习路线图 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, A 阅读全文

posted @ 2022-03-22 08:53 hanease 阅读(69) 评论(0) 推荐(0) 编辑

2022年3月21日

flink基础教程

摘要：随着大数据技术在各行各业的广泛应用，要求能对海量数据进行实时处理的需求越来越多，同时数据处理的业务逻辑也越来越复杂，传统的批处理方式和早期的流式处理框架也越来越难以在延迟性、吞吐量、容错能力以及使用便捷性等方面满足业务日益苛刻的要求。在这种形势下，新型流式处理框架Flink通过创造性地把现代大规模阅读全文

posted @ 2022-03-21 10:40 hanease 阅读(3473) 评论(0) 推荐(1) 编辑

2022年3月20日

ClickHouse-1介绍

摘要： https://clickhouse.com/docs/zh/ 一、clickhouse简介 ClickHouse 是俄罗斯的Yandex开源的用于在线分析处理查询（OLAP :Online Analytical Processing）的列式存储数据库（DBMS：Database Managemen 阅读全文

posted @ 2022-03-20 15:06 hanease 阅读(248) 评论(0) 推荐(0) 编辑

Sqoop使用手册

摘要： 1 Sqoop概述 2 版本说明 3 驱动安装 3.1 MySQL 4 基本用法 4.1 导入 4.1.1 保护密码 4.1.2 使用其他文件格式 4.1.3 压缩导入的数据 4.1.4 提高传输速度 4.1.5 自定义类型映射 4.1.6 并行控制 4.1.7 对NULL值进行编码 4.1.8 导阅读全文

posted @ 2022-03-20 15:05 hanease 阅读(2097) 评论(0) 推荐(0) 编辑

w3cschool-Flink 入门

摘要： Flink 入门 Apache Flink是一个框架和分布式处理引擎，用于在无界和有界数据流上进行有状态的计算。Flink被设计为在所有常见的集群环境中运行，以内存中的速度和任何规模执行计算。 Apache Flink is a framework and distributed processin 阅读全文

posted @ 2022-03-20 15:01 hanease 阅读(418) 评论(0) 推荐(0) 编辑

ELK快速搭建日志平台

摘要：一、介绍1、日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。 2、通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使阅读全文

posted @ 2022-03-20 14:58 hanease 阅读(713) 评论(0) 推荐(0) 编辑

Kibana使用

摘要： Kibana是一个开源的分析和可视化平台，设计用于和Elasticsearch一起工作。你用Kibana来搜索，查看，并和存储在Elasticsearch索引中的数据进行交互。你可以轻松地执行高级数据分析，并且以各种图标、表格和地图的形式可视化数据。 Kibana使得理解大量数据变得很容易。它简阅读全文

posted @ 2022-03-20 14:56 hanease 阅读(507) 评论(0) 推荐(0) 编辑

Filebeat 模块与配置

摘要： 1. 关于Filebeat 当你要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时，请告别 SSH 吧！Filebeat 将为你提供一种轻量型方法，用于转发和汇总日志与文件，让简单的事情不再繁杂。关于Filebeat，记住两点：轻量级日志采集器输送至 Elasticsearch 或阅读全文

posted @ 2022-03-20 14:53 hanease 阅读(10123) 评论(0) 推荐(1) 编辑

Logstash介绍

摘要： Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。集中、转换和存储你的数据 Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到你最喜欢的“ 阅读全文

posted @ 2022-03-20 14:39 hanease 阅读(696) 评论(0) 推荐(0) 编辑

公告