11 2021 档案

Hive操作超时错误:Session 0x0 for server null
摘要：1 Hive错误 [HiveServer2-Background-Pool: Thread-69-SendThread(quicks... 阅读全文
posted @ 2021-11-30 21:45 赵广陆 阅读(194) 评论(0) 推荐(0) 编辑
Hive新增表在Impala查不到问题解决
摘要：1 问题产生 Impala和hive一起使用，当我们在HIVE中新增一张表时，我们发现在Impala中不能及时查看到新增表，这是因为... 阅读全文
posted @ 2021-11-30 21:30 赵广陆 阅读(208) 评论(0) 推荐(0) 编辑
Hiveserver2的高可用搭建
摘要：目录 1 部署启动hiveserver21.1 配置hive-site.xml1.2 配置hadoop中的core-site.xm... 阅读全文
posted @ 2021-11-30 21:15 赵广陆 阅读(235) 评论(0) 推荐(0) 编辑
大数据Flume数据流监控
摘要：目录 1 Ganglia 的安装与部署1.1 安装 ganglia 2 操作 Flume 测试监控2.1 启动 Flume 任务... 阅读全文
posted @ 2021-11-26 20:30 赵广陆 阅读(82) 评论(0) 推荐(0) 编辑
大数据Flume自定义类型
摘要：目录 1 自定义 Interceptor1.1 案例需求1.2 需求分析:Interceptor和Multiplexing Cha... 阅读全文
posted @ 2021-11-26 20:30 赵广陆 阅读(74) 评论(0) 推荐(0) 编辑
大数据Flume企业开发实战
摘要：目录 1 复制和多路复用1.1 案例需求1.2 需求分析：单数据源多出口案例（选择器）1.3 实现步骤 2 负载均衡和故障转移2... 阅读全文
posted @ 2021-11-26 20:15 赵广陆 阅读(42) 评论(0) 推荐(0) 编辑
大数据Flume特性
摘要：目录 1 Flume 事务2 Flume Agent 内部原理3 Flume 拓扑结构3.2 复制和多路复用3.3 负载均衡和故障... 阅读全文
posted @ 2021-11-25 16:31 赵广陆 阅读(124) 评论(0) 推荐(0) 编辑
大数据Azkaban失败任务预警
摘要：目录 1 默认邮件预警案例2 电话预警案例2.1 第三方告警平台集成2.2 测试 1 默认邮件预警案例 Azkaban 默认支... 阅读全文
posted @ 2021-11-24 22:15 赵广陆 阅读(252) 评论(0) 推荐(0) 编辑
大数据Azkaban常见工作流进阶实战
摘要：目录 1.Java案例工作流2 条件工作流案例2.1 运行时参数 案例2.2.1 基本原理2.2.2 支持的条件运算符2.2.3 ... 阅读全文
posted @ 2021-11-24 21:45 赵广陆 阅读(105) 评论(0) 推荐(0) 编辑
大数据Azkaban Work Flow实战
摘要：目录 1 HelloWorld 案例1.1 yarm语法： 2 作业依赖案例2.1 修改 basic.flow 为如下内容2.2... 阅读全文
posted @ 2021-11-24 21:00 赵广陆 阅读(112) 评论(0) 推荐(0) 编辑
Spark多语言开发
摘要：目录 1 多语言开发-说明2 Java-Spark-掌握2.1 SparkCore2.2 SparkStreaming2.3 Sp... 阅读全文
posted @ 2021-11-15 21:00 赵广陆 阅读(79) 评论(0) 推荐(0) 编辑
Spark学生答题情况分析
摘要：目录 1 流程分析2 业务模块划分3 创建模块包结构4 准备Kafka主题4.1 测试发送数据到Kafka 5 需求5.1 代码... 阅读全文
posted @ 2021-11-15 20:45 赵广陆 阅读(77) 评论(0) 推荐(1) 编辑
Logstash快速入门
摘要：目录 1 Logstash简介1.1 参加资料1.2 用途 2 部署安装2.1 测试2.2 配置详解2.2.1 输入2.2.2 ... 阅读全文
posted @ 2021-11-15 20:30 赵广陆 阅读(138) 评论(0) 推荐(0) 编辑
Java操作时间工具类
摘要：目录 1 LocalDate快速入门2 判断time是否在now的n天之内3 判断某个时间是否是在条件的起始时间与结束时间之内4 ... 阅读全文
posted @ 2021-11-15 20:30 赵广陆 阅读(55) 评论(0) 推荐(0) 编辑
Filebeat日志采集器实例
摘要：目录 1 概述2 安装Filebeat2.1 配置Filebeat2.2 配置Filebeat以使用Logstash 3 案例3... 阅读全文
posted @ 2021-11-15 20:15 赵广陆 阅读(421) 评论(0) 推荐(0) 编辑
Logstash接收Kafka数据写入至ES
摘要：1 Kafka数据写入至ES方式 Kafka->logstash->elasticsearch->kibana(简单，只需启动一个代... 阅读全文
posted @ 2021-11-12 21:00 赵广陆 阅读(605) 评论(0) 推荐(0) 编辑
大数据Spark Streaming实时处理Canal同步binlog数据
摘要：目录 1. Canal 环境搭建2 配置Canal2.1 下载Canal2.2 解压2.3 修改instance 配置文件2.4 ... 阅读全文
posted @ 2021-11-12 20:45 赵广陆 阅读(229) 评论(0) 推荐(0) 编辑
Kafka JavaAPI
摘要：目录 1 Producer API1.1 消息发送流程1.2 异步发送 API1.2.1 不带回调函数的 API1.2.2 带回调... 阅读全文
posted @ 2021-11-09 21:00 赵广陆 阅读(189) 评论(0) 推荐(0) 编辑
Logstash同步MySql数据到Elasticsearch
摘要：目录 1 MySql数据到Elasticsearch1.1 下载logstash1.2 解压logstash1.3 在logsta... 阅读全文
posted @ 2021-11-08 21:45 赵广陆 阅读(235) 评论(0) 推荐(0) 编辑
大数据HDFS应用开发
摘要：目录 1 HDFS 的 Shell 操作（开发重点）1.1 HDFS读写流程 2 HDFS的常见Shell操作2.1 ls：查询... 阅读全文
posted @ 2021-11-08 20:30 赵广陆 阅读(56) 评论(0) 推荐(0) 编辑
Win11配置java环境变量
摘要：可能刚更新系统看到右键的界面有点懵 或者直接搜索高级系统设置 之后的操作就老样子了 Java环境变量配置(win7+win1... 阅读全文
posted @ 2021-11-07 17:39 赵广陆 阅读(1566) 评论(0) 推荐(0) 编辑
Win11右键菜单还原Win10
摘要：每次都要展开很是反人类,难道是要我们用黑窗口操作吗? 不得不说这个黑窗口还是下心血了. 所以我看有的方法是删除注册表恢复win1... 阅读全文
posted @ 2021-11-07 15:57 赵广陆 阅读(359) 评论(0) 推荐(1) 编辑
大数据预处理
摘要：目录 1 数据提供2 查看数据3 数据扩展4 数据过滤5 数据上传 1 数据提供 为了保证实践的真实性，本章为读者提供了一个较大... 阅读全文
posted @ 2021-11-05 21:15 赵广陆 阅读(142) 评论(0) 推荐(0) 编辑
Hive数据仓库数据分析
摘要：目录 1 创建数据仓库2 创建Hive分区表3 数据分析3.1 统计总记录数3.2 统计非空记录数3.3 关键词分析3.4 uid... 阅读全文
posted @ 2021-11-05 21:00 赵广陆 阅读(165) 评论(0) 推荐(0) 编辑
Spark设计实现π的计算
摘要：目录 1 分布式估算圆周率2 程序设计3 分布式运行3.1 采用本地模式提交sparkAPP.jar3.2 采用Yarn-clie... 阅读全文
posted @ 2021-11-04 21:45 赵广陆 阅读(195) 评论(0) 推荐(0) 编辑
Spark Yarn模式部署集群
摘要：目录 1 安装地址2 解压安装2.1 配置Linux环境变量2.2 scala环境配置2.3 配置spark-env.sh环境变量... 阅读全文
posted @ 2021-11-04 21:30 赵广陆 阅读(193) 评论(0) 推荐(0) 编辑
Kafka集群搭建
摘要：目录 1 下载或复制Kafka安装包2 解压缩Kafka安装包3 配置Kafka集群4 Kafka的初步应用4.1 创建主题4.2... 阅读全文
posted @ 2021-11-04 21:15 赵广陆 阅读(42) 评论(0) 推荐(0) 编辑
大数据Sqoop搭建
摘要：目录 1 启动条件2 下载或复制Sqoop安装包3 解压并安装Sqoop4 配置Sqoop4.1 配置MySQL连接器4.2 配置... 阅读全文
posted @ 2021-11-04 20:45 赵广陆 阅读(57) 评论(0) 推荐(0) 编辑
Linux报错:tar: Error Is Not Recoverable: Exiting Now
摘要：Linux操作系统下，下载完成xx.tar.gz文件然后执行tar -zxvf xx.tar.gz，执行出现如下错误： xxx.ta... 阅读全文
posted @ 2021-11-02 21:45 赵广陆 阅读(2061) 评论(0) 推荐(0) 编辑
Linux主机名重启失效解决
摘要：Linux系统安装好后，都会有默认的主机名，这里以CentOS系统为例，默认的主机名为localhost.localdomain，为... 阅读全文
posted @ 2021-11-02 21:30 赵广陆 阅读(354) 评论(0) 推荐(0) 编辑
HBase启动时有进程webUI不显示HRegionServer各种情况解决方案
摘要：1 Hmaster主机观察是否有闪退 java.lang.IllegalStateException: The procedure ... 阅读全文
posted @ 2021-11-02 21:00 赵广陆 阅读(379) 评论(0) 推荐(0) 编辑
Ubuntu卸载自带mysql
摘要：查看是否安装mysql #查看是否存在mysql服务service mysql status#查看安装了哪些相关软件包dpkg --... 阅读全文
posted @ 2021-11-02 20:45 赵广陆 阅读(28) 评论(0) 推荐(0) 编辑
Linux报错:mkdir：无法创建目录“/opt/apps/xxx/logs“: Permission denied
摘要：1 chmod简单使用 Linux chmod（英文全拼：change mode）命令是控制用户对文件的权限的命令 Linux/Un... 阅读全文
posted @ 2021-11-02 20:45 赵广陆 阅读(935) 评论(0) 推荐(0) 编辑
sudo报错:no valid sudoers sources found, quitting
摘要：在使用Linux系统过程中，通常情况下，我们都会使用普通用户进行日常操作，而root用户只有在权限分配及系统设置时才会使用，而roo... 阅读全文
posted @ 2021-11-02 20:15 赵广陆 阅读(380) 评论(0) 推荐(0) 编辑
微信开发获取签名wx.config
摘要：目录 1 开发条件2 在后台使用动态url方式获取signature3 改为接口进行访问 1 开发条件 1 申请一个微信公众号，... 阅读全文
posted @ 2021-11-02 20:15 赵广陆 阅读(924) 评论(0) 推荐(0) 编辑
Hive报错:HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.me
摘要：启动hive的metastore或者启动hive后执行命令报错如下： FAILED: HiveException java.lang... 阅读全文
posted @ 2021-11-02 20:00 赵广陆 阅读(117) 评论(0) 推荐(0) 编辑
Hbase集群搭建
摘要：目录 1 启动条件2 安装3 配置4 启动并验证HBase5 HBase的基本应用 1 启动条件 HBase也需要安装在成功部署... 阅读全文
posted @ 2021-11-01 23:15 赵广陆 阅读(273) 评论(0) 推荐(0) 编辑
Zookeeper集群搭建
摘要：目录 1 安装2 配置3 启动和测试 1 安装 先简单说下目的: 什么是单点故障问题？ HDFS中的NameNode，Yarn中... 阅读全文
posted @ 2021-11-01 21:00 赵广陆 阅读(40) 评论(0) 推荐(0) 编辑
大数据Hive安装与应用
摘要：目录 1 启动条件2 部署安装2.1 下载并解压Hive安装包2.2 配置Hive2.3 启动并验证Hive2.4 Hive的基本... 阅读全文
posted @ 2021-11-01 20:30 赵广陆 阅读(53) 评论(0) 推荐(0) 编辑