摘要:
一、聚合日志介绍 日志聚集是YARN提供的日志中央化管理功能,它能将运行完成的Container任务日志上传到HDFS上,从而减轻NodeManager负载,且提供一个中央化存储和分析机制。默认情况下,Container 任务日志存在在各个NodeManager上,保存在"yarn.nodemana 阅读全文
摘要:
一、Hive参数配置方式 Hive中提供三种改变环境变量的方法,分别是:(1)修改 ${HIVE_HOME}/conf/hive-site.xml 配置文件;(2)命令行参数;(3)进入Hive客户端后手动设置。下面以修改‘hive.exec.scratchdir’参数为例具体介绍这三种方式。 假设 阅读全文
摘要:
一、Hive日志介绍 Hive日志记录了程序运行的过程,在Hive中,日志分为两种: 系统日志。记录了Hive的运行情况,错误状况。 Job日志。记录了Hive中Job的执行过程。 1、系统日志存储在什么地方呢?在 ${HIVE_HOME}/conf/hive-log4j.properties 文件 阅读全文
摘要:
一、环境准备 presto环境节点规划: 10.21.58.94(coordinator服务) 10.21.58.95(worker服务) 10.21.58.96(worker服务) presto下载并解压: 部署的presto版本为0.223.1,下载路径为 /opt/bigdata/app/ 下 阅读全文
摘要:
一、介绍 pyenv 是 Python 版本管理工具。 pyenv 可以改变全局的 Python 版本,安装多个版本的 Python, 设置目录级别的 Python 版本,还能创建和管理 virtual python environments 。所有的设置都是用户级别的操作,不需要 sudo 命令。 阅读全文
摘要:
Centos 6.8系统镜像默认安装的 python 环境是 2.6.6,线上需求需要升级到 2.7.14 版本,网上找了相关资料,升级 python 版本比较容易,但 yum/pip 等命令的使用也会有问题,网上的资料是修改脚本 #!/usr/bin/python 的头文件,个人感觉麻烦,还是直接 阅读全文
摘要:
一、介绍 权限认证机制,顾名思义,就是对 InfluxDB 数据库添加权限访问控制,在默认情况下,InfluxDB 的权限认证机制是关闭的,也就是说所有用户都有所有权限。 老规矩,直接实践上手,下图是 InfluxDB 开启权限认证机制后,登录数据库后 'show databases;' 提示权限认 阅读全文
摘要:
一、Grafana 配置 InfluxDB 数据源 1.1 登录 Granfana 界面选择 InfluxDB 数据源 在前面我们已经部署好相应监控环境,登录Grafana:http://10.223.1.199:3000/,登录密码默认是 admin / admin,初次登录时会要求修改密码。 进 阅读全文
摘要:
一、单节点环境部署 机器节点信息及 InfluxDB、Grafana 版本选择: 节点 Linux版本 部署服务 10.223.1.198 Centos 6.8 InfluxDB 1.7.7 10.223.1.199 Centos 6.8 Grafana 5.4.4 1.1 InfluxDB 环境部 阅读全文
摘要:
以下操作均时基于 Centos 6.8 操作。 一、现象 在平时工作中,当需要修改主机名时,我们一般会这样操作: 第一步,通过 hostname 命令临时修改主机名。 第二步,修改配置文件,保证机器重启时主机名不会变。 以上操作确实是修改主机名的正确姿势,也能达到预期的效果,但为什么要这样操作呢,知 阅读全文