2022 年 9月随笔档案 - WHYBIGDATA

Python3操作MongoDB数据库

摘要：Python3操作MongoDB数据库文章目录 Python3操作MongoDB数据库0. 写在前面1. 安装开源驱动库pymongo2. 参考 0. 写在前面 Linux：Ubuntu Kylin 16.04MongoDB：MongoDB3.2.7Python：Anaconda With Pyt 阅读全文

posted @ 2022-09-29 05:30 WHYBIGDATA 阅读(150) 评论(0) 推荐(0) 编辑

执行Hive查询时出现OOM

摘要：执行Hive查询时出现OOM 文章目录执行Hive查询时出现OOM写在前面报错：Error: Java heap space实验场景日志信息StckOverFlow的回答写在前面 Hive执行引擎：Hive on MR 报错：Error: Java heap space 原因：内存分配问题解阅读全文

posted @ 2022-09-26 05:30 WHYBIGDATA 阅读(126) 评论(0) 推荐(0) 编辑

flume----HDFS sink 启动时产生大量小文件处理办法

摘要：flume HDFS sink 启动时产生大量小文件处理办法转载自：https://blog.csdn.net/qq_37714755/article/details/113243139 1.问题背景通过flume直接上传实时数据到hdfs，会常遇到的一个问题就是小文件，需要调参数来设置，往往在阅读全文

posted @ 2022-09-25 21:16 WHYBIGDATA 阅读(107) 评论(0) 推荐(0) 编辑

Hive on Tez 的安装配置

摘要：Hive on Tez 的安装配置文章目录 Hive on Tez 的安装配置0. 写在前面1. 起源2. Tez概述3. 安装部署4. 解决日志Jar包冲突 0. 写在前面 Hadoop：Hadoop-2.9.2Hive：Hive-2.3.7Tez：Tez-0.9.0 1. 起源 Hortonw 阅读全文

posted @ 2022-09-25 05:30 WHYBIGDATA 阅读(73) 评论(0) 推荐(0) 编辑

Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask

摘要：Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask 文章目录 Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask0. 写阅读全文

posted @ 2022-09-22 18:41 WHYBIGDATA 阅读(128) 评论(0) 推荐(0) 编辑

MapReduce报错：「MKDirs failed to create file」

摘要：MapReduce报错：「MKDirs failed to create file」文章目录 MapReduce报错：「MKDirs failed to create file」0. 写在前面1. 程序代码及报错信息输入、输出路径程序代码报错信息 2. 查找资料3. 原因分析4. 参考 0. 写在阅读全文

posted @ 2022-09-22 05:30 WHYBIGDATA 阅读(105) 评论(0) 推荐(0) 编辑

MongoDB的「Linux」安装及基本使用

摘要：MongoDB的「Linux」安装及基本使用文章目录 MongoDB的「Linux」安装及基本使用0. 写在前面1. 下载并安装MongoDB2. 启动方式2.1 直接启动2.2 以「配置文件」方式启动2.2.1 使用默认配置文件2.2.2 自定义配置文件 3. 自定义配置文件启动MongoDB服阅读全文

posted @ 2022-09-21 05:30 WHYBIGDATA 阅读(115) 评论(0) 推荐(0) 编辑

CentOS7.X时间调整为系统时间之后，重新开机就无效了

摘要：CentOS7.X时间调整为系统时间之后，重新开机就无效了文章目录 CentOS7.X时间调整为系统时间之后，重新开机就无效了0. 原因分析1. 时间修改2. 参考 0. 原因分析系统时区非上海没有同步网络时间 1. 时间修改查看虚拟机系统时间 [root@node01 ~]$ timeda 阅读全文

posted @ 2022-09-20 05:30 WHYBIGDATA 阅读(80) 评论(0) 推荐(1) 编辑

jps查看进程出现「xxxx -- process information unavailable」

摘要：jps查看进程出现「xxxx – process information unavailable」文章目录 jps查看进程出现「xxxx -- process information unavailable」0. 写在前面1. 报错2. 参考 0. 写在前面实验背景：离线数仓使用Kerberos 阅读全文

posted @ 2022-09-19 05:30 WHYBIGDATA 阅读(37) 评论(0) 推荐(0) 编辑

MapReduce关于类型转换报错记录

摘要：MapReduce关于类型转换报错记录文章目录 MapReduce关于类型转换报错记录0. 写在前面1. 程序代码2. 参考 0. 写在前面实验环境：Ubuntu Kylin16.04Hadoop版本：2.7.2IDE：Eclipse3.8 1. 程序代码 Mapper端 import org. 阅读全文

posted @ 2022-09-18 05:30 WHYBIGDATA 阅读(67) 评论(0) 推荐(0) 编辑

执行MapReduce报错：无法分配内存 (errno=12)

摘要：执行MapReduce报错：无法分配内存 (errno=12) 文章目录执行MapReduce报错：无法分配内存 (errno=12)0. 写在前面1. 程序介绍2. 报错解决3. 参考 0. 写在前面 Linux: Ubuntu Kylin16.04Hadoop: Hadoop2.7.2IDE: 阅读全文

posted @ 2022-09-18 05:30 WHYBIGDATA 阅读(67) 评论(0) 推荐(0) 编辑

离线数仓之Kerberos基本使用及问题记录

摘要：离线数仓之Kerberos基本使用及问题记录文章目录离线数仓之Kerberos基本使用及问题记录0. 写在前面1. Kerberos基本使用0. 启动Kerberos相关服务1. 安全模式下启动Hadoop集群 2. 安装Kerberos客户端访问HDFS页面0. Windows下安装MIT K 阅读全文

posted @ 2022-09-18 05:30 WHYBIGDATA 阅读(80) 评论(0) 推荐(0) 编辑

使用Python3操作HBase的两种方法

摘要：使用Python3操作HBase 文章目录使用Python3操作HBase0. 写在前面1. 安装conda2. 安装hbase-thrift-0.20.0.patch新建一个Python3.9的anaconda环境激活新建的anaconda环境test检查是否已经存在hbase-thrift环境阅读全文

posted @ 2022-09-17 08:23 WHYBIGDATA 阅读(380) 评论(0) 推荐(0) 编辑

Ubuntu安装Anaconda及注意事项

摘要：虚拟机Ubuntu安装Anaconda及注意事项文章目录虚拟机Ubuntu安装Anaconda及注意事项0. 写在前面1. 安装步骤0.下载 Anaconda1.安装 Anaconda2. 确认安装的路径3. 确认conda命令是否可以正常使用4. 创建conda虚拟环境5. 查看conda版本阅读全文

posted @ 2022-09-17 05:30 WHYBIGDATA 阅读(129) 评论(0) 推荐(0) 编辑

Linux重新执行某个历史命令

摘要：Linux重新执行某个历史命令文章目录 Linux重新执行某个历史命令0.前置芝士1.Linux重新执行某个历史命令 0.前置芝士 Linux执行过的命令存储在家目录下的.bash_history文件中 1.Linux重新执行某个历史命令众所周知，使用上下方向键可以执行当前窗口之前执行过的命令，阅读全文

posted @ 2022-09-16 05:30 WHYBIGDATA 阅读(89) 评论(0) 推荐(0) 编辑

关于Presto对lzo压缩的表查询使用记录

摘要：关于Presto对lzo压缩的表查询使用记录文章目录关于Presto对lzo压缩的表查询使用记录0.写在前面1.正文0.提前说明1.查询ads层表2.查询dwd|dws|dwt层表3.查询ods层表 0.写在前面实验背景：离线数仓项目Presto版本：0.196Hive版本：3.1.2Hado 阅读全文

posted @ 2022-09-15 05:30 WHYBIGDATA 阅读(51) 评论(0) 推荐(0) 编辑

Kylin启动失败||启动成功但Web界面显示404

摘要：Kylin启动失败||启动成功但Web界面显示404 文章目录 Kylin启动失败||启动成功但Web界面显示4040.写在前面1.原因一：环境变量配置问题2.原因二：Kylin兼容性问题没有得到解决3.原因三：hive-site.xml配置文件的问题 0.写在前面实验背景：离线数仓项目Kylin 阅读全文

posted @ 2022-09-14 05:30 WHYBIGDATA 阅读(191) 评论(0) 推荐(0) 编辑

Superset执行「superset db upgrade」命令的报错记录

摘要：Superset执行「superset db upgrade」命令的报错记录文章目录 Superset执行「superset db upgrade」命令的报错记录零、写在前面一、「superset db upgrade」报错记录0. 按照尚硅谷视频操作，执行到「superset db upgrad 阅读全文

posted @ 2022-09-13 05:30 WHYBIGDATA 阅读(966) 评论(0) 推荐(0) 编辑

DataGrip连接Hive执行DDL操作报错：「FAILED: ParseException line 1:5 cannot recognize input near ‘show‘ ‘indexe

摘要：DataGrip连接Hive执行DDL操作报错：「FAILED: ParseException line 1:5 cannot recognize input near ‘show’ ‘indexes’ ‘on’ in ddl statement」文章目录 DataGrip连接Hive执行DDL操阅读全文

posted @ 2022-09-08 05:30 WHYBIGDATA 阅读(377) 评论(0) 推荐(0) 编辑

搜索

常用链接

最新随笔

我的标签

随笔分类

随笔档案

相册

阅读排行榜

评论排行榜

推荐排行榜

最新评论