随笔分类 - Hadoop
摘要：一、 基础查询 sublime 格式化 ctrl+k ctrl+f -- 创建学生表 DROP TABLE IF EXISTS student_info; create table if not exists student_info( stu_id string COMMENT '学生id', s
阅读全文
摘要：1.数据湖三足鼎立 https://cloud.tencent.com/developer/article/2397256 什么是数据湖？ 集中的存储 多种格式的数据源无需结构化处理 不同类型的分析加工 为什么需要？ lambda架构 基于hive的离线+基于kafka的实时 两条链路数据不一致 批
阅读全文
摘要：1. 整体架构 2. 安装部署 2.1 资源规划 实例名称 端口名称 默认端口 通信方式 说明 FE http_port 8030 -> 8034 用户/FE<--> FE FE上的http端口 web管理界面 BE webserver_port 8040 -> 8041 BE<-->FE BE上的
阅读全文
摘要：# 1.安装 yum install filebeat # 或者 tar -zxvf filebeat-8.12.0-linux-x86_64.tar.gz -C /etc/filebeat mv filebeat-8.12.0-linux-x86_64 filebeat # 2.修改配置 vim
阅读全文
