摘要：
一、聚合日志介绍 日志聚集是YARN提供的日志中央化管理功能，它能将运行完成的Container任务日志上传到HDFS上，从而减轻NodeManager负载，且提供一个中央化存储和分析机制。默认情况下，Container 任务日志存在在各个NodeManager上，保存在"yarn.nodemana 阅读全文
摘要：
一、Hive参数配置方式 Hive中提供三种改变环境变量的方法，分别是：（1）修改 ${HIVE_HOME}/conf/hive-site.xml 配置文件；（2）命令行参数；（3）进入Hive客户端后手动设置。下面以修改‘hive.exec.scratchdir’参数为例具体介绍这三种方式。 假设 阅读全文
摘要：
一、Hive日志介绍 Hive日志记录了程序运行的过程，在Hive中，日志分为两种： 系统日志。记录了Hive的运行情况，错误状况。 Job日志。记录了Hive中Job的执行过程。 1、系统日志存储在什么地方呢？在 ${HIVE_HOME}/conf/hive-log4j.properties 文件 阅读全文
摘要：
一、环境准备 presto环境节点规划： 10.21.58.94（coordinator服务） 10.21.58.95（worker服务） 10.21.58.96（worker服务） presto下载并解压： 部署的presto版本为0.223.1，下载路径为 /opt/bigdata/app/ 下 阅读全文
摘要：
一、介绍 pyenv 是 Python 版本管理工具。 pyenv 可以改变全局的 Python 版本，安装多个版本的 Python， 设置目录级别的 Python 版本，还能创建和管理 virtual python environments 。所有的设置都是用户级别的操作，不需要 sudo 命令。 阅读全文
摘要：
Centos 6.8系统镜像默认安装的 python 环境是 2.6.6，线上需求需要升级到 2.7.14 版本，网上找了相关资料，升级 python 版本比较容易，但 yum/pip 等命令的使用也会有问题，网上的资料是修改脚本 #!/usr/bin/python 的头文件，个人感觉麻烦，还是直接 阅读全文
摘要：
一、介绍 权限认证机制，顾名思义，就是对 InfluxDB 数据库添加权限访问控制，在默认情况下，InfluxDB 的权限认证机制是关闭的，也就是说所有用户都有所有权限。 老规矩，直接实践上手，下图是 InfluxDB 开启权限认证机制后，登录数据库后 'show databases;' 提示权限认 阅读全文
摘要：
一、Grafana 配置 InfluxDB 数据源 1.1 登录 Granfana 界面选择 InfluxDB 数据源 在前面我们已经部署好相应监控环境，登录Grafana：http://10.223.1.199:3000/，登录密码默认是 admin / admin，初次登录时会要求修改密码。 进 阅读全文
摘要：
一、单节点环境部署 机器节点信息及 InfluxDB、Grafana 版本选择： 节点 Linux版本 部署服务 10.223.1.198 Centos 6.8 InfluxDB 1.7.7 10.223.1.199 Centos 6.8 Grafana 5.4.4 1.1 InfluxDB 环境部 阅读全文
摘要：
以下操作均时基于 Centos 6.8 操作。 一、现象 在平时工作中，当需要修改主机名时，我们一般会这样操作： 第一步，通过 hostname 命令临时修改主机名。 第二步，修改配置文件，保证机器重启时主机名不会变。 以上操作确实是修改主机名的正确姿势，也能达到预期的效果，但为什么要这样操作呢，知 阅读全文