摘要：
Hdfs数据备份 一、概述 本文的hdfs数据备份是在两个集群之间进行的，如果使用snapshot在同一个集群上做备份，如果datanode损坏或误操作清空了数据，这样的备份就无法完全保证数据安全性。所以选择将hdfs里面的数据备份到另外的地方进行存储，选择hadoop的分布式复制工具distcp。 阅读全文
摘要：
Cgroups控制系统资源的分配（cpu、mem、io） 1、cgroups概述 CGroup是Linux内核提供的可以限制、隔离进程组 (process groups) 所使用的物理资源 (如 cpu memory i/o 等等)。 全称是Control Groups，从2.6.24 内核引入，并 阅读全文
摘要：
1、强制某些已经登录的用户下线 1）查看已经登录的用户详情 # w 23:51:00 up 5:51, 5 users, load average: 0.75, 0.51, 0.29USER TTY FROM LOGIN@ IDLE JCPU PCPU WHATroot pts/0 spark 18 阅读全文
摘要：
Nginx配置日志格式记录cookie1、 一般用来做UV统计，或者获取用户token等。 配置方式： 在nginx的配置文件中有个变量：$http_cookie来获取cookie的信息。配置方式很简单，只需要在nginx配置文件的http段，新添加一个log_format就可以了：http{log 阅读全文
摘要：
kafka集群依赖于zookeeper，所以需要先搭建zookeeper集群，kafka默认自带了内建的zookeeper，建议使用自己外搭建的zookeeper，这样比较灵活并且解耦服务，同时也可以让其他需要zookeeper的服务使用。注意kafka-2.11-0.11版本与zookeeper- 阅读全文
摘要：
一、概述 NFS工作流程 1、由程序在NFS客户端发起存取文件的请求，客户端本地的RPC(rpcbind)服务会通过网络向NFS服务端的RPC的111端口发出文件存取功能的请求。 2、NFS服务端的RPC找到对应已注册的NFS端口，通知客户端RPC服务。 3、客户端获取正确的端口，并与NFS dae 阅读全文
摘要：
1、首先添加hdfs的节点，将安装包上传到服务器，设置好环境变量。配置文件按之前spark集群搭建的那里进行修改。 设置完成后，要对新节点新型格式化： # hdfs dfs namenode -format 生成公钥、私钥，配置免密登录： ssh-keygen -t rsa 一直回车就好了，会在用户 阅读全文
摘要：
一、spark启动有standalong、yarn、cluster，具体的他们之间的区别这里不在赘述，请参考官网。本文采用的是standalong模式进行搭建及将接使用。 1、首先去官网下载需要的spark版本： http://spark.apache.org/downloads.html 本例使用 阅读全文
摘要：
Kafka消息重新发送 1、 使用kafka消息队列做消息的发布、订阅，如果consumer端消费出问题，导致数据并没有消费，此时不需要担心，数据并不会立刻丢失，kafka会把数据在服务器的磁盘上默认存储7天，或者自己指定有两种方式：1）指定时间，log.retention.hours=168；2） 阅读全文
摘要：
有的时候暴漏nginx的web页面很不安全，需要添加一个认证，本文介绍使用htpasswd工具为nginx添加认证的用户名和密码。 在 nginx 下，提供了 ngx_http_auth_basic_module 模块实现让用户只有输入正确的用户名密码才允许访问web内容。默认情况下，nginx 已 阅读全文