大数据运维 - 博客园

Ambari2.6.2 HDP2.6.5 大数据集群搭建

摘要： Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SPARK-2.3.0 注：本文基于root用户操作一、安装环境准备操作系统 centos7.5 hdc-data1：192.168.163.5 阅读全文

posted @ 2019-04-18 19:23 大数据运维阅读(824) 评论(0) 推荐(0)

138 条 Vim 命令、操作、快捷键全集

摘要：命令历史以:和/开头的命令都有历史纪录，可以首先键入:或/然后按上下箭头来选择某个历史命令。启动vim 在命令行窗口中输入以下命令即可 vim 直接启动vim vim filename 打开vim并创建名为filename的文件文件命令打开单个文件 vim file 同时打开多个文件 vim 阅读全文

posted @ 2019-03-31 22:30 大数据运维阅读(212) 评论(0) 推荐(0)

Debian如何永久添加静态路由

摘要：在RedHat(RHEL)/CentOS/Fedora Linux环境永久添加静态路由通常是写在诸如/etc/sysconfig/network-scripts/route-eth0这些文件里。在Debian下有所不同，我们会把这些添加路由的脚本放到/etc/network/interfaces里执阅读全文

posted @ 2019-03-14 14:19 大数据运维阅读(4874) 评论(0) 推荐(0)

OpenTSDB/HBase的调优过程整理

摘要：背景过年前，寂寞哥给我三台机器，说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了，寂寞哥说之前的TSDB集群运行了两年，4台同样配置的机器，目前hdfs才用了40%，所以前期先用着这三台机器，不够再加。于是我只好默默地搭好了CDH5、openTS 阅读全文

posted @ 2019-03-13 16:27 大数据运维阅读(5176) 评论(0) 推荐(1)

HBase数据压缩算法编码探索

摘要：摘要：本文主要介绍了hbase对数据压缩，编码的支持，以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求，只有几百qps的冷数据缓存，却因为存储水位要浪费几十台服务器？你可曾遇到这种需求，几百G的表，必须纯cache命中，性能才能满足业务需求？你可曾遇到，阅读全文

posted @ 2019-03-13 15:57 大数据运维阅读(1096) 评论(0) 推荐(0)

解决修改css或js文件后，浏览器缓存未更新问题

摘要：问题描述：最近在上线新版本项目的时候，发现有的用户的操作还是调用的老版本JS里面的内容，这样就造成原来新的JS里面加上的限制不能限制用户的操作，从而导致用户可以重复操作。问题产生原因：如果在用户之前已经访问过系统，那么浏览器中会缓存该系统的CSS、JS，这些CSS、JS缓存未过期之前，浏览器只会阅读全文

posted @ 2019-03-13 12:39 大数据运维阅读(3904) 评论(0) 推荐(0)

Debian 9 Stretch国内常用镜像源

摘要：随着Debian 9的普及，但由于伟大的墙的存在，那就有必要整理一下国内的镜像站点。 1.使用说明一般情况下，修改/etc/apt/sources.list文件，将Debian的默认源地址改成新的地址即可，比如将http://deb.debian.org改成https://mirrors.xxx. 阅读全文

posted @ 2019-03-08 10:28 大数据运维阅读(1070) 评论(0) 推荐(0)

ELK填坑总结和优化过程

摘要：做了几周的测试，踩了无数的坑，总结一下，全是干货，给大家分享~ 一、elk 实用知识点总结 1、编码转换问题（主要就是中文乱码）（1）input 中的codec => plain 转码将GB2312 的文本编码，转为UTF-8 的编码（2）也可以在filebeat中实现编码的转换（推荐） 2、阅读全文

posted @ 2019-03-01 17:07 大数据运维阅读(4327) 评论(0) 推荐(1)

elk中es集群web管理工具cerebro

摘要： cerebo是kopf在es5上的替代者安装es虽然不能再root下运行，但是cerebro 可以 run as root is ok #具体新版本查看https://github.com/lmenezes/cerebro/releases unzip cerebro-0.8.1.tgz cd c 阅读全文

posted @ 2019-02-03 09:37 大数据运维阅读(1024) 评论(0) 推荐(0)

Kafka集群管理工具kafka-manager的安装使用

摘要：一.kafka-manager简介 kafka-manager是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容：管理多个集群轻松检查群集状态（主题，消费者，偏移，代理，副本分发，分区分发）运行首选副本选举使用选项生成分区阅读全文

posted @ 2019-02-03 09:22 大数据运维阅读(271) 评论(0) 推荐(0)