mengrennwpu

2021年4月30日

摘要： 1. 背景 (1) 业务方提供了一台有GPU的服务器，且已经安装了显卡等组件，cuda版本10.2，具体信息如下 (2) 在裸机上部署anaconda、pytorch、tensorflow较为麻烦，因此打算在docker中执行pytorch和tensorflow任务 2. 部署及使用 2.1 先决条阅读全文

posted @ 2021-04-30 19:30 mengrennwpu 阅读(1166) 评论(0) 推荐(0) 编辑

Mongo库表占用空间统计

摘要： 1. 背景 DBA同事反馈说Mongp集群磁盘占用空间过大，超过监控告警95%阈值，因此建议删除部分资源或者申请扩容，本着开源节流的理念，还是乖乖看哪些老数据应该删除。但Mongo中的库和表过多，因此如何进行统计？ 2. MongoDB库表占用空间统计其实，MongoDB中库表的占用空间统计方式N 阅读全文

posted @ 2021-04-30 17:39 mengrennwpu 阅读(2401) 评论(0) 推荐(0) 编辑

2021年3月11日

修改elasticsearch默认索引返回数

摘要： 1. 背景 (1) 客户反映es查询只能返回10000个数据，而需求时返回1.9W个数据，因此需要设置对应索引的默认返回数index.max_result_window (2) 给客户部署的服务以docker-compose启动，其配置文件docker-compose.yml文件如下，其中es版本为阅读全文

posted @ 2021-03-11 12:18 mengrennwpu 阅读(903) 评论(0) 推荐(0) 编辑

2021年2月19日

针对docker中的mongo容器增加鉴权

摘要： 1. 背景业务方的服务器经安全检查，发现以docker容器启动的mongo未增加鉴权的漏洞，随优化之 2. 配置 mongo以docker compose方式启动，镜像的版本号为4.2.6，docker-compose.yml配置文件内容如下： version: '2' services: mon 阅读全文

posted @ 2021-02-19 15:53 mengrennwpu 阅读(213) 评论(0) 推荐(0) 编辑

2019年12月27日

Hive(3)-Hive数据类型

摘要： 1. 基本数据类型对于Hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储2GB的字符数 Hive数据类型 Java数据类型长度例子 TINYINT byte 1byte有符号整数 20 SMALINT 阅读全文

posted @ 2019-12-27 15:51 mengrennwpu 阅读(856) 评论(0) 推荐(0) 编辑

Hive(2)-Hive安装及简单使用

摘要：本文的安装版本为Hive 3.1.2，且安装为单节点。 1. 安装参考及注意事项 (1) 官网：http://hive.apache.org/ (2) 上篇博客：Hadoop 3.1.3伪分布式环境安装Hive 3.1.2的异常总结 2. 常见属性配置 (1) Hive数据仓库位置 1) defau 阅读全文

posted @ 2019-12-27 15:17 mengrennwpu 阅读(588) 评论(0) 推荐(0) 编辑

Hive(1)-基本概念

摘要： 1. 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数阅读全文

posted @ 2019-12-27 11:33 mengrennwpu 阅读(205) 评论(0) 推荐(0) 编辑

2019年11月30日

Hadoop 3.1.3伪分布式环境安装Hive 3.1.2的异常总结

摘要：背景：hadoop版本为3.1.3, 且以伪分布式形式安装，hive版本为3.1.2，hive为hadoop的一个客户端。 1. 安装简要步骤 (1) 官网下载apache-hive-3.1.2-bin.tar.gz，并解压缩 (2) 进入conf配置文件夹，将hive-env.sh.templat 阅读全文

posted @ 2019-11-30 18:03 mengrennwpu 阅读(2020) 评论(0) 推荐(0) 编辑

2019年11月19日

Spark2.4源码阅读1-Shuffle机制概述

摘要：本文参考： a. https://www.jianshu.com/p/c46bfaa5dd15 1. shuffle及历史简介 shuffle，即"洗牌"，所有采用map-reduce思想的大数据计算框架的必经及最重要的阶段。顾名思义，其处于map与reduce之间，可分为2个子阶段： a. shu 阅读全文

posted @ 2019-11-19 18:43 mengrennwpu 阅读(700) 评论(0) 推荐(0) 编辑

2019年10月28日

Spark On YARN（Yarn-Cluster模式）启动流程源码分析（二）

摘要：转自：https://www.cnblogs.com/yy3b2007com/p/11087180.html 本章将针对yarn-cluster（--master yarn –deploy-mode cluster）模式下全面进行代码补充解读： 1）什么时候初始化SparkContext； 2）如何阅读全文

posted @ 2019-10-28 18:47 mengrennwpu 阅读(781) 评论(0) 推荐(0) 编辑

好学求知，稳健中流

公告