上一页 1 ··· 5 6 7 8 9 10 11 12 13 ··· 31 下一页
摘要: redis-stat redis-stat是一个比较有名的redis指标可视化的监控工具,采用ruby开发,基于redis的info命令来统计,不影响redis性能。 docker运行 docker run --name redis-stat -p 8080:63790 -d insready/re 阅读全文
posted @ 2019-07-11 15:12 大数据从业者FelixZh 阅读(5033) 评论(0) 推荐(2) 编辑
摘要: Redis作为一个基于内存的可持久化的日志型、Key-Value数据库,以其出色的性能表现以及高可用性在许多公司有着举足轻重的地位。伴随着业务量的增长,redis集群的规模不可避免的需要扩大,此时redis集群的运维成本就成为一个不可忽视的工作内容。 RedisManager作为一个redis一站式 阅读全文
posted @ 2019-07-11 15:01 大数据从业者FelixZh 阅读(2064) 评论(0) 推荐(1) 编辑
摘要: 主从复制 主数据库可以进行读写操作,当读写操作导致数据变化时会自动将数据同步给从数据库 从数据库一般都是只读的,并且接收主数据库同步过来的数据 一个master可以拥有多个slave,但是一个slave只能对应一个master 哨兵模式 监控主从数据库是否正常运行 master出现故障时,自动将sl 阅读全文
posted @ 2019-07-11 14:55 大数据从业者FelixZh 阅读(1172) 评论(0) 推荐(0) 编辑
摘要: 1 I want to deploy a custom service onto non hadoop nodes using Apache Ambari. I have created a custom service inside /var/lib/ambari-server/resources 阅读全文
posted @ 2019-07-04 20:13 大数据从业者FelixZh 阅读(372) 评论(0) 推荐(0) 编辑
摘要: 1.配置端口 Ambari Server默认配置了服务端的debug参数,端口为5005。如果要修改端口,可以在/usr/sbin/ambari_server_main.py文件中对应地方修改,直接改5005端口即可。代码如下: ambari\ambari-server\src\main\pytho 阅读全文
posted @ 2019-07-04 15:30 大数据从业者FelixZh 阅读(763) 评论(0) 推荐(0) 编辑
摘要: PURPOSE When troubleshooting Ambari issues, it may be necessary to enable debug logging in the Ambari Server log /var/log/ambari-server/. PROCEDURE To 阅读全文
posted @ 2019-07-04 15:21 大数据从业者FelixZh 阅读(1294) 评论(0) 推荐(0) 编辑
摘要: 实际项目开发场景中,可能会用到java项目调用系统命令的需求,如调用python或者shell脚本 可以参考如下例子,例子来源于ambari源码: \ambari\ambari-server\src\main\java\org\apache\ambari\server\security\Certif 阅读全文
posted @ 2019-06-26 14:48 大数据从业者FelixZh 阅读(685) 评论(0) 推荐(0) 编辑
摘要: Kafka是广泛使用消息服务,很多情况下关于认证部分我都是默认的配置,也就是不需要用户名/密码,也不配置证书。在内网或者在项目组内部可以,但是设计的跨部门时一般处于安全考虑都需要加上认证,防止kafka被误用,产生大量垃圾信息,干扰了正常业务的运行。 Kafka提供的多种认证方式,比如SASL, 本 阅读全文
posted @ 2019-06-18 17:04 大数据从业者FelixZh 阅读(2788) 评论(0) 推荐(0) 编辑
摘要: 使用SASL/PLAIN认证 server端1.配置brokerkafka_server_jaas.conf内容KafkaServer {org.apache.kafka.common.security.plain.PlainLoginModule requiredusername="admin"p 阅读全文
posted @ 2019-06-18 16:15 大数据从业者FelixZh 阅读(3156) 评论(0) 推荐(0) 编辑
摘要: 问题描述: 在使用MyBatis时,有时需要检查某个记录是否存在数据库中,然后根据其返回的布尔值true or false,来进行逻辑判断。那怎么做呢? 解决方案: 如检测某个手机号是否被注册过: <select id="checkPhoneExist" parameterType="java.la 阅读全文
posted @ 2019-06-01 14:22 大数据从业者FelixZh 阅读(11046) 评论(0) 推荐(0) 编辑
摘要: 1.问题描述 在Idea的spring工程里,经常会遇到Could not autowire. No beans of 'xxxx' type found的错误提示。但程序的编译和运行都是没有问题的,这个错误提示并不会产生影响。但红色的错误提示在有些有强迫症的程序员眼里,多多少少有些不太舒服。 2. 阅读全文
posted @ 2019-06-01 09:27 大数据从业者FelixZh 阅读(33252) 评论(0) 推荐(3) 编辑
摘要: 一、httpd服务的配置文件 httpd服务的主配置文件通常为httpd根目录下的conf/httpd.conf文件,通过yum安装的httpd服务的主配置路径通常如下: httpd-2.2:/etc/httpd/conf/httpd.conf httpd-2.4:/etc/httpd/conf/h 阅读全文
posted @ 2019-05-25 09:59 大数据从业者FelixZh 阅读(1093) 评论(0) 推荐(0) 编辑
摘要: Ambari采用的不是一个新的思想和架构,也不是完成了软件的新的革命,而是充分利用了一些已有的优秀开源软件,巧妙地把它们结合起来,使其在分布式环境中做到了集群式服务管理能力、监控能力、展示能力。这些优秀开源软件有: 一、Puppet 在Agent节点上,它所有的状态更改操作,都是通过Puppet来完 阅读全文
posted @ 2019-05-21 14:24 大数据从业者FelixZh 阅读(942) 评论(0) 推荐(0) 编辑
摘要: 在第一节中,我们简单讲了一下Ambari的系统架构。我们这一节主要分析Ambari的源代码,总览Ambari的具体实现方式及其工作细节。 一、Ambari-Server启动 Ambari-Server是一个WEB Server,提供统一的REST API接口,同时向web和agent开放了两个不同的 阅读全文
posted @ 2019-05-21 14:21 大数据从业者FelixZh 阅读(989) 评论(0) 推荐(0) 编辑
摘要: Ambari是hadoop分布式集群配置管理工具,是由hortonworks主导的开源项目。它已经成为apache基金会的孵化器项目,已经成为hadoop运维系统中的得力助手,引起了业界和学术界的关注。现在我们将深入学习Ambari原理及其架构。 Ambari架构采用的是Server/Client的 阅读全文
posted @ 2019-05-21 14:09 大数据从业者FelixZh 阅读(1032) 评论(0) 推荐(0) 编辑
摘要: Openshift是一个开源容器云平台,是一个基于主流的容器技术Docker和K8s构建的云平台。Openshift底层以Docker作为容器引擎驱动,以K8s作为容器编排引擎组件,并提供了开发语言,中间件,DevOps自动化流程工具和web console用户界面等元素,提供了一套完整的基于容器的 阅读全文
posted @ 2019-05-12 17:08 大数据从业者FelixZh 阅读(677) 评论(0) 推荐(0) 编辑
摘要: 随着CoreOS和Kubernetes等项目在开源社区日益火热,它们项目中都用到的etcd组件作为一个高可用强一致性的服务发现存储仓库,渐渐为开发人员所关注。在云计算时代,如何让服务快速透明地接入到计算集群中,如何让共享配置信息快速被集群中的所有机器发现,更为重要的是,如何构建这样一套高可用、安全、 阅读全文
posted @ 2019-05-12 17:07 大数据从业者FelixZh 阅读(1410) 评论(0) 推荐(1) 编辑
摘要: 作者简介:李金葵,邮箱:892697603@qq.com 当下云计算的领域里热度最高的两个项目,无疑是OpenStack和Kubernetes。如果云计算是一个风起云涌的江湖,毫不夸张的说OpenStack和Kubernetes就是江湖里的泰山北斗。OpenStack就像是少林,基础扎实、沉稳厚重, 阅读全文
posted @ 2019-05-12 17:03 大数据从业者FelixZh 阅读(561) 评论(0) 推荐(0) 编辑
摘要: 1.简介 Apache Hadoop是目前被广泛使用的主流大数据处理计算框架,Sahara项目旨在使用用户能够在Openstack平台上便于创建和管理Hadoop以及其他计算框架集群,实现类似AWS的EMR(Amazon Elastic MapReduce service)服务。用户只需要提供简单的 阅读全文
posted @ 2019-05-12 17:01 大数据从业者FelixZh 阅读(554) 评论(0) 推荐(0) 编辑
摘要: 1、准备文件服务器,以httpd为例,请确保是否已经安装httpd程序包。 [root@localhost /]# rpm -q httpd httpd-2.2.15-26.el6.centos.x86_64 2、在/var/www/html目录,创建目录openstack,将要制定为yum仓库的r 阅读全文
posted @ 2019-05-09 15:29 大数据从业者FelixZh 阅读(3202) 评论(0) 推荐(0) 编辑
摘要: Working on hadoop, especially on test clusters, I have managed to break my HDFS layer and sometimes with no possible redemption, or at least none that 阅读全文
posted @ 2019-04-30 16:54 大数据从业者FelixZh 阅读(205) 评论(0) 推荐(0) 编辑
摘要: 说明:所有的代码基于SpringBoot 2.0.3版本 背景 在应用程序启动后,可以自动执行建库、建表等SQL脚本.下文中以要自动化执行people.sql脚本为例说明,脚本在SpringBoot工程中的路径为:classpath:people.sql,脚本的具体内容如下: CREATE TABL 阅读全文
posted @ 2019-04-30 15:42 大数据从业者FelixZh 阅读(2331) 评论(0) 推荐(0) 编辑
摘要: 重新登录下,就ok了。 阅读全文
posted @ 2019-04-29 18:15 大数据从业者FelixZh 阅读(7481) 评论(0) 推荐(0) 编辑
摘要: mysql报错:ERROR 1129 (HY000): Host * is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts'解决办法:按照提示,远程登录服务器,执行命令“mysqladmi 阅读全文
posted @ 2019-04-29 18:10 大数据从业者FelixZh 阅读(1577) 评论(0) 推荐(0) 编辑
摘要: SupportKB Problem Description: When starting Ranger admin, it fails to start up with the following error: [I] Java patch PatchPasswordEncryption_J1000 阅读全文
posted @ 2019-04-29 18:09 大数据从业者FelixZh 阅读(728) 评论(0) 推荐(0) 编辑
摘要: SupportKB Problem Description:After upgrading to HDP 3.0, the HiveServer2 fails to start and the following error is displayed in the HiveServer2 logs: 阅读全文
posted @ 2019-04-29 18:07 大数据从业者FelixZh 阅读(8318) 评论(2) 推荐(0) 编辑
摘要: requirement failed: Unacceptable value for property 'kafka.timeline.metrics.host_in_memory_aggregation', boolean values must be either 'true' or 'fals 阅读全文
posted @ 2019-04-29 18:06 大数据从业者FelixZh 阅读(1013) 评论(0) 推荐(0) 编辑
摘要: 1 问题描述 HDFS在机器断电或意外崩溃的情况下,有可能出现正在写的数据(例如保存在DataNode内存的数据等)丢失的问题。再次重启HDFS后,发现hdfs无法启动,查看日志后发现,一直处于安全模式。 2 原因分析 出现前面提到的问题主要原因是客户端写入的数据没有及时保存到磁盘中,从而导致数据丢 阅读全文
posted @ 2019-04-26 09:23 大数据从业者FelixZh 阅读(1507) 评论(0) 推荐(0) 编辑
摘要: [root@localhost upload]# rpm -ivh MySQL-server-5.5.25a-1.rhel5.x86_64.rpmerror: Failed dependencies:libaio.so.1()(64bit) is needed by MySQL-server-5.5 阅读全文
posted @ 2019-04-25 17:06 大数据从业者FelixZh 阅读(3732) 评论(0) 推荐(1) 编辑
摘要: https://issues.apache.org/jira/browse/AMBARI-12556 Provide ability to apply single patches on top of RU release Export Provide ability to apply single 阅读全文
posted @ 2019-04-22 20:09 大数据从业者FelixZh 阅读(143) 评论(0) 推荐(0) 编辑
上一页 1 ··· 5 6 7 8 9 10 11 12 13 ··· 31 下一页