06 2018 档案
摘要：前言 从今天起，我将一步一步的分享大数据相关的知识，其实很多程序员感觉大数据很难学，其实并不是你想象的这样，只要自己想学，还有什么难得呢？ 学习Hadoop有一个8020原则，80%都是在不断的配置配置搭建集群，只有20%写程序！ 一、引言（大数据时代） 1.1、从数据中得到信息 我们看一张图片：
阅读全文
摘要：一、概述 随着OpenStack日渐成为开源云计算的标准软件栈，Ceph也已经成为OpenStack的首选后端存储。Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。 ceph官方文档 http://docs.ceph.org.cn/ ceph中文开源社区 http://c
阅读全文
摘要：一、Hadoop概述： Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS分布式文件系统为海量的数据提供了存储，则M
阅读全文
摘要：1.背景介绍 作为运维，在公司经常遇到一些机械性重复工作要做，例如：为新机器装系统，一台两台机器装系统，可以用光盘、U盘等介质安装，1小时也完成了，但是如果有成百台的服务器还要用光盘、U盘去安装，就显得有些力不从心了。PXE技术就能很好的解决这个问题，本文将会对PXE的工作原理有所介绍，而cobbl
阅读全文
摘要：1 需要确定虚拟的防火墙已经关闭 2 修改vi /etc/sysconfig/network-scripts/ifcfg-eth0配置文件 增加以下参数 BOOTPROTO=none 这一行很重要 一定要设置成静态的 否则就会出现标题的问题 IPADDR=192.168.123.210 ## 这一行
阅读全文
摘要：一、ISCSI多路径应用 如果存储服务器到交换机只有一条线路的时候，那么一条线路出线故障，整个就没法使用了，所以多线路可以解决这个问题，避免单点故障 如上图，如果SAN服务器与客户端交换机只有一条线路相连，那么如果交换机或者线路出现故障，那么整个通讯中断， 如图二，SAN服务器与我们的客户端有两条以
阅读全文
摘要：partprobe： 用于重读分区表，当出现删除文件后，出现仍然占用空间。可以partprobe在不重启的情况下重读分区。 将磁盘分区表变化信息通知内核，请求操作系统重新加载分区表。 -d 不更新内核 -s 显示磁盘分区汇总信息 -h 显示帮助信息 -v 显示版本信息 eg： partprobe /
阅读全文
摘要：一、NAS和SAN服务器概述 SAS： 容量小, 300G, 600G, 900G， 价格贵。 SATA：容量大，500G, 750G, 1T, 2T, 3T, 4T 不支持热插拔，价格低。 假SAS盘：容量大， 支持热插拔，价格低， SAS接口的sata盘 , 速度慢 。 1.关于存储方式 1.直
阅读全文
摘要：一、LVS-IP TUN集群概述 DR方式是通过MAC，规模是一个交换网络。而TUN方式，是通过给数据包加上新的IP头部来实现，这个可以跨整个广域网。TUN模式可以解决DR模式下不能跨网段的问题，甚至可以跨公网进行 如图： 异地机房的好处： 容灾 但是是否可以保证 边界 最近访问到对应的real s
阅读全文
摘要：一、 LVS-DR和LVS-IP TUN集群概述 1. Direct Routing(直接路由) Director分配请求到不同的real server。real server处理请求后直接回应给用户，这样director负载均衡器仅处理客户机与服务器的一半连接。负载均衡器仅处理一半的连接，避免了新
阅读全文
摘要：一、 集群概述 1、 什么是集群？ 一组各自相互独立且又相互依赖的,通过高速网络互联的计算机组成的一个计算机组, 以单一的系统模式加以管理, 为用户提供服务, 对用户来说, 用户只会认为对方是一个服务. 这个里面, 一组计算机的一台计算机就是集群的一个节点 2、 集群的特性： 可伸缩性, 可靠性,
阅读全文
摘要：网站压力测试工具-Webbench webbench简介： Webbench是有名的网站压力测试工具，它是由 Lionbridge公司（http://www.lionbridge.com）开发的网站压力测试工具，它能测试处在相同硬件上，不同服务的性能以及不同硬件上同一个服务的运行状况。webbenc
阅读全文
摘要：关于 /proc/sys/net/ipv4/下 文件的详细解释： 1) /proc/sys/net/ipv4/ip_forward 该文件表示是否打开IP转发。 0，禁止 1，转发 基本用途：如VPN、路由产品的利用； 出于安全考虑，Linux系统默认是禁止数据包转发的。所谓转发即当主机拥有多于一块
阅读全文
摘要：一、全网数据备份方案1、需要备份的文件目录有（原则上，只要运维人员写入或更改的数据都需要备份）。/data,/etc/rc.local,/var/spool/cron/root等，根据不同都服务器做不同的调整2、为了规范化，每台服务器进行本地备份时都备份到/backup目录下3、每台WEB服务器进行
阅读全文
摘要：写一个使用shell脚本增量备份系统文件，顺便复习一下shell脚本相关的命令，这个脚本可以根据自己的需求来备份不同的文件或者文件夹，进行完整备份和增量备份。 参考的网址：http://blog.51cto.com/wgkgood/1330200 直接上脚本如下：
阅读全文
摘要：我的vim配置主要有以下优点： 1.按F5可以直接编译并执行C、C++、java代码以及执行shell脚本，按“F8”可进行C、C++代码的调试 2.自动插入文件头 ，新建C、C++源文件时自动插入表头：包括文件名、作者、联系方式、建立时间等，读者可根据需求自行更改 3.映射“Ctrl + A”为全
阅读全文
摘要：由于开发需要，在本地环境中配置了LNMP环境，使用的是Centos 7.4 的源码安装，安装一切正常，但是由于默认网站文件夹比较奇葩，于是把网站文件用mv命令移动到了新的目录，并相应修改了配置文件，并重启Nginx。 那么好，问题来了！本以为重启就OK了。居然报个“403 is forbidden“
阅读全文
摘要：登陆服务器之后进到nginx使用./nginx -s reload重新读取配置文件，发现报nginx: [error] open() "/usr/local/nginx/logs/nginx.pid" failed (2: No such file or directory)错误，进到logs文件发
阅读全文
