打赏

05 2018 档案

摘要:1.DR模式(直接路由模式:Virtual Server via Direct Routing) DR模式是通过改写请求报文的目标MAC地址,将请求发给真实服务器的,而真实服务器响应后的处理结果直接返回给客户端用户。同TUN模式一样, DR模式可以极大的提高集群系统的伸缩性。而且DR模式没有IP隧道 阅读全文
posted @ 2018-05-30 10:59 QueryMarsBo 阅读(21526) 评论(0) 推荐(1) 编辑
摘要:1.TUN模式(Virtual Server via IP Tunneling) 采用NAT模式时,由于请求和响应的报文必须通过调度器地址重写,当客户请求越来越多时,调度器处理能力将成为瓶颈。为了解决这个问题, 调度器把请求的报文通过IP隧道转发到真实的服务器。真实的服务器将响应处理后的数据直接返回 阅读全文
posted @ 2018-05-30 10:22 QueryMarsBo 阅读(3305) 评论(0) 推荐(0) 编辑
摘要:1.LVS的三种工作模式 1)VS/NAT模式(Network address translation) 2)VS/TUN模式(tunneling) 3)DR模式(Direct routing) 1.1.NAT模式-网络地址转换(Virtual Server via Network Address 阅读全文
posted @ 2018-05-30 10:08 QueryMarsBo 阅读(1116) 评论(0) 推荐(0) 编辑
摘要:1.LVS介绍 LVS是linux virtual server的简写linux虚拟服务器,是一个虚拟的服务器集群系统,可以再unix/linux平台下实现负载均衡集群功能 2.LVS组成 LVS由2部分程序组成,包括 ipvs(嵌入到linux的内核,不需要安装) 和 ipvsadm(管理应用程序 阅读全文
posted @ 2018-05-30 09:43 QueryMarsBo 阅读(577) 评论(0) 推荐(0) 编辑
摘要:2. 利用keepalived实现高可靠配置(HA) 2.1. 高可靠概念 HA(High Available):高可用性集群,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,且分为活动节点及备用节点。 2.2. 高可靠软件keepalived keepalive是一款可以实现高可靠的软 阅读全文
posted @ 2018-05-29 19:22 QueryMarsBo 阅读(5879) 评论(0) 推荐(0) 编辑
摘要:1.利用memcached配置session一致性的另外一种方案tengine的会话保持功能 1.1:Tengine会话保持:通过cookie来实现的 该模块是一个负载均衡模块,通过cookie实现客户端与后端服务器的会话保持, 在一定条件下可以保证同一个客户端访问的都是同一个后端服务器 tengi 阅读全文
posted @ 2018-05-29 09:12 QueryMarsBo 阅读(1098) 评论(0) 推荐(0) 编辑
摘要:1:Session共享 为什么要实现共享,如果你的网站是存放在一个机器上,那么会话数据就在这台机器,但是如果你使用了负载均衡把请求分发到不同的机器呢?这个时候会话 id在客户端是没有问题的,但是如果用户的两次请求到了两台不同的机器,而它的session数据可能存在其中一台机器,这个时候就会出现取不到 阅读全文
posted @ 2018-05-28 18:30 QueryMarsBo 阅读(3721) 评论(0) 推荐(0) 编辑
摘要:1.Nginx配置文件及各个配置项含义 2.通过nginx可以实现虚拟主机的配置,nginx支持三种类型的虚拟主机配置 1、基于域名的虚拟主机(servername) 2、基于ip的虚拟主机, (一块主机绑定多个ip地址) 3、基于端口的虚拟主机(listen如果不写ip端口模式) 2.演示ngin 阅读全文
posted @ 2018-05-27 16:24 QueryMarsBo 阅读(979) 评论(0) 推荐(0) 编辑
摘要:1.前言: 所谓区块链,简而言之就是一种数据结构,每一个区块都像账本的每一页纸记录了该网络上的交易信息,而众多区块在时间的基础上按照顺序连接起 来就形成了区块链。区块链能够以数字方式识别和跟踪交易,并通过计算机的分布式网络共享这些信息,在某种意义上创建分布式信任网络。区块链提供 的分布式账本技术为追 阅读全文
posted @ 2018-05-26 11:55 QueryMarsBo 阅读(361) 评论(0) 推荐(0) 编辑
摘要:1. Nginx相关概念 代理服务器一般分为正向代理(通常直接称为代理服务器)和反向代理。 通常的代理服务器,只用于代理内部网络对Internet的连接请求,客户机必须指定代理服务器,并将本来要直接发送到Web服务器上的http请求发送到代理服 务器中由代理服务器向Internet上的web服务器发 阅读全文
posted @ 2018-05-25 19:21 QueryMarsBo 阅读(486) 评论(0) 推荐(0) 编辑
摘要:1.Nginx安装配置 Nginx("engine x")是一款是由俄罗斯的程序设计师Igor Sysoev所开发的高性能 Web和 反向代理服务器,也是一个 IMAP/POP3/SMTP 代理服务器。 在高连接并发的情况下,Nginx是Apache服务器不错的替代品 1.Nginx使用场景: Ng 阅读全文
posted @ 2018-05-25 17:15 QueryMarsBo 阅读(223) 评论(0) 推荐(0) 编辑
摘要:Linux中没有盘符这个概念,只有一个根目录“/”,所有文件都在它下面;点击计算机,下面存放的都是根目录下的东西; 2.6 文本文件编辑命令 1.cat 命令用于查看纯文本文件(内容较少的:一次性全部显示),格式为“cat [选项] [文件]”;如果在查看文本内容时还想顺便显示行号的话,不妨在 ca 阅读全文
posted @ 2018-05-25 15:38 QueryMarsBo 阅读(268) 评论(0) 推荐(0) 编辑
摘要:at 命令是针对仅运行一次的任务,循环运行的例行性计划任务,linux系统则是由 cron (crond) 这个系统服务来控制的Linux 系统上面原本就有非常多的计划 性工作,因此这个系统服务是默认启动的。另外, 由于使用者自己也可以设置计划任务,所以, Linux 系统也提供了使用者控制计划任务 阅读全文
posted @ 2018-05-25 11:03 QueryMarsBo 阅读(379) 评论(0) 推荐(0) 编辑
摘要:计划任务服务程序 经验丰富的系统运维工程师可以使得Linux在无需人为介入的情况下,在指定的时间段自动启用或停止某些服务或命令,从而实现运维的自动化. 如何设置服务器的计划任务服务,把周期性、规律性的工作交给系统自动完成: 计划任务分为一次性计划任务与长期性计划任务,大家可以按照如下方式理解: 一次 阅读全文
posted @ 2018-05-25 10:11 QueryMarsBo 阅读(544) 评论(0) 推荐(0) 编辑
摘要:1.流程控制语句 通过if、for、while、case这4种流程控制语句来学习编写难度更大、功能更强的Shell脚本 4.3.1 if条件测试语句: if条件测试语句可以让脚本根据实际情况自动执行相应的命令。从技术角度来讲,if语句分为单分支结构、双分支结构、多分支结构; if条件语句的单分支结构 阅读全文
posted @ 2018-05-24 21:10 QueryMarsBo 阅读(457) 评论(0) 推荐(0) 编辑
摘要:1.Shell 判断用户的参数 系统在执行mkdir命令时会判断用户输入的信息,即判断用户指定的文件夹名称是否已经存在,如果存在则提示报错;反之则自动创建。 Shell脚本中的条件测试语法可以判断表达式是否成立,若条件成立则返回数字0,否则便返回其他随机数值。 条件测试语法:的执行格式如图4-16所 阅读全文
posted @ 2018-05-24 20:45 QueryMarsBo 阅读(4782) 评论(0) 推荐(0) 编辑
摘要:1.Shell 传递参数 我们可以在执行 Shell 脚本时,向脚本传递参数,Linux系统中的Shell脚本语言已经内设了用于接收参数的变量,变量之间可以使用空格间隔。 例如$0对应的是当前Shell脚本程序的名称,$#对应的是总共有几个参数,$*对应的是所有位置的参数值,$?对应的是显示上一次命 阅读全文
posted @ 2018-05-24 18:14 QueryMarsBo 阅读(1575) 评论(0) 推荐(0) 编辑
摘要:Shell 变量 1.定义变量 定义变量时,变量名不加美元符号($,PHP语言中变量需要),如: your_name="runoob.com" 注意,变量名和等号之间不能有空格,这可能和你熟悉的所有编程语言都不一样。同时,变量名的命名须遵循如下规则: 命名只能使用英文字母,数字和下划线,首个字符不能 阅读全文
posted @ 2018-05-24 17:39 QueryMarsBo 阅读(211) 评论(0) 推荐(0) 编辑
摘要:1.Shell脚本 可以将Shell终端解释器当作人与计算机硬件之间的“翻译官”,它作为用户与Linux系统内部的通信媒介,除了能够支持各种变量与参数外,还提供了诸如循环、分支等高级编 程语言才有的控制结构特性。要想正确使用Shell中的这些功能特性,准确下达命令尤为重要。 Shell是用户与内核进 阅读全文
posted @ 2018-05-24 17:19 QueryMarsBo 阅读(238) 评论(0) 推荐(0) 编辑
摘要:8.1 防火墙管理工具 防火墙作为公网与内网之间的保护屏障,在保障数据的安全性方面起着至关重要的作用。主要功能都是依据策略对穿越防火墙自身的流量进行过滤。防火墙策略可以基于 流量的源目地址、端口号、协议、应用等信息来定制,然后防火墙使用预先定制的策略规则监控出入的流量,若流量与某一条策略规则相匹配, 阅读全文
posted @ 2018-05-24 15:58 QueryMarsBo 阅读(212) 评论(0) 推荐(0) 编辑
摘要:参考:http://www.cnblogs.com/zhao1949/p/5947938.html 阅读全文
posted @ 2018-05-24 14:48 QueryMarsBo 阅读(157) 评论(0) 推荐(0) 编辑
摘要:一:解决Xshell中文乱码问题 二:解决克隆后eth0不见的问题 2.1:虚拟机克隆步骤: 1.直接修改 /etc/sysconfig/network-script/ifcfg-eth0文件,删掉UUID HWADDR,然后再一般模式下Shift+zz退出vim编辑器; 2.然后修改 /etc/u 阅读全文
posted @ 2018-05-22 14:37 QueryMarsBo 阅读(150) 评论(0) 推荐(0) 编辑
摘要:1、ndarray.shape 这一数组属性返回一个包含数组维度的元组,它也可以用于调整数组大小 运行结果: 2、ndarray.ndim:返回数组的维数 运行结果: 3、ndarray.itemsize:返回数组中每个元素的字节单位长度 4:NumPy - 数组创建 4.1:numpy.empty 阅读全文
posted @ 2018-05-22 11:15 QueryMarsBo 阅读(575) 评论(0) 推荐(0) 编辑
摘要:一:NumPy简介 • 官网链接:http://www.numpy.org/ • NumPy教程链接:https://www.yiibai.com/numpy/ • NumPy是Python语言的一个扩充程序库。支持高级大量的多维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库 NumPy 阅读全文
posted @ 2018-05-22 09:04 QueryMarsBo 阅读(305) 评论(0) 推荐(0) 编辑
摘要:一:安装Python与环境配置 二:安装pip 三:Anaconda安装和使用 3.1 什么是 Anaconda? Anaconda是专注于数据分析的Python发行版本,支持 Linux, Mac, Windows系统,提供了包管理与环境管理的功能,可以很方便地解决多版本python并存、 切换以 阅读全文
posted @ 2018-05-21 15:31 QueryMarsBo 阅读(444) 评论(0) 推荐(0) 编辑
摘要:一:Spider Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说,Spider就是您定义爬取 的动作及分析某个网页(或者是有些网页)的地方。 class scrapy.Spider是最基本的类,所 阅读全文
posted @ 2018-05-21 09:56 QueryMarsBo 阅读(465) 评论(0) 推荐(0) 编辑
摘要:0:Spider爬取数据 一:Item Pipeline 当Item在Spider中被收集之后,它将会被传递到Item Pipeline,这些Item Pipeline组件按定义的顺序处理Item。 每个Item Pipeline都是实现了简单方法的Python类,比如决定此Item是丢弃而存储。以 阅读全文
posted @ 2018-05-19 09:13 QueryMarsBo 阅读(233) 评论(0) 推荐(0) 编辑
摘要:Scrapy Shell:模拟scrapy去发送请求 Scrapy终端是一个交互终端,我们可以在未启动spider的情况下尝试及调试代码,也可以用来测试XPath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取的数据。 如果安装了 IPython ,Scrapy终端将使用 IPython 阅读全文
posted @ 2018-05-18 14:27 QueryMarsBo 阅读(225) 评论(0) 推荐(0) 编辑
摘要:入门案例 学习目标 创建一个Scrapy项目 定义提取的结构化数据(Item) 编写爬取网站的 Spider 并提取出结构化数据(Item) 编写 Item Pipelines 来存储提取到的Item(即结构化数据) 创建一个Scrapy项目 定义提取的结构化数据(Item) 编写爬取网站的 Spi 阅读全文
posted @ 2018-05-17 19:29 QueryMarsBo 阅读(218) 评论(0) 推荐(0) 编辑
摘要:Scrapy的安装介绍 Scrapy框架官方网址:http://doc.scrapy.org/en/latest Scrapy中文维护站点:http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html Windows 安装方式 Python 2 / 阅读全文
posted @ 2018-05-17 10:17 QueryMarsBo 阅读(130) 评论(0) 推荐(0) 编辑
摘要:Scrapy 框架 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。 框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便。 Scrapy 使用了 Twisted['twɪstɪd](其主要对手 阅读全文
posted @ 2018-05-17 09:48 QueryMarsBo 阅读(131) 评论(0) 推荐(0) 编辑
摘要:案例:使用BeautifuSoup4的爬虫 我们以腾讯社招页面来做演示:http://hr.tencent.com/position.php?&start=10#a 使用BeautifuSoup4解析器,将招聘网页上的职位名称、职位类别、招聘人数、工作地点、发布时间,以及每个职位详情的点击链接存储出 阅读全文
posted @ 2018-05-14 11:10 QueryMarsBo 阅读(203) 评论(0) 推荐(0) 编辑
摘要:一:urllib2库的基本使用 所谓网页抓取,就是把URL地址中指定的网络资源从网络流中抓取出来。在Python中有很多库可以用来抓取网页,我们先学习urllib2。 urllib2 是 Python2.7 自带的模块(不需要下载,导入即可使用) urllib2 官方文档:https://docs. 阅读全文
posted @ 2018-05-10 16:50 QueryMarsBo 阅读(265) 评论(0) 推荐(0) 编辑
摘要:一:爬虫的四个主要步骤 二:什么是正则表达式 正则表达式,又称规则表达式,通常被用来检索、替换那些符合某个模式(规则)的文本。 正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。 给 阅读全文
posted @ 2018-05-08 18:49 QueryMarsBo 阅读(343) 评论(0) 推荐(0) 编辑
摘要:一:Requests: 让 HTTP 服务人类 虽然Python的标准库中 urllib2 模块已经包含了平常我们使用的大多数功能,但是它的 API 使用起来让人感觉不太好,而 Requests 自称 “HTTP for Humans”,说明使用更简洁方便。 Requests 唯一的一个非转基因的 阅读全文
posted @ 2018-05-07 14:45 QueryMarsBo 阅读(425) 评论(0) 推荐(0) 编辑
摘要:一:HTTP和HTTPS HTTP协议(HyperText Transfer Protocol,超文本传输协议):是一种发布和接收 HTML页面的方法,以明文的形式传输,效率高,但是不安全 HTTPS(Hypertext Transfer Protocol over Secure Socket La 阅读全文
posted @ 2018-05-07 09:48 QueryMarsBo 阅读(1829) 评论(0) 推荐(0) 编辑
摘要:一:通用爬虫和聚焦爬虫 根据使用场景,网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种. 通用爬虫 通用网络爬虫是捜索引擎抓取系统(Baidu、Google、Yahoo等)的重要组成部分。主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。 通用搜索引擎(Search Engine)工作 阅读全文
posted @ 2018-05-07 09:40 QueryMarsBo 阅读(2899) 评论(0) 推荐(0) 编辑
摘要:一:什么是网络爬虫 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取网络信息的程序或者脚本; 二:为什么要做网络爬虫? 大数据时代,要进行数据分析,首先要有数据源,数据从何而来? 在进行大数据分析或者进行数据挖掘的时候,数据源可以 阅读全文
posted @ 2018-05-06 22:28 QueryMarsBo 阅读(338) 评论(0) 推荐(0) 编辑
摘要:一: 修改Linux的基本配置 直接运行:setup,根据提示修改 1.修改主机名:vi /etc/sysconfig/network 2.修改ip地址:vi /etc/sysconfig/network-scripts/ifcfg-eth0 service network restart inco 阅读全文
posted @ 2018-05-06 21:13 QueryMarsBo 阅读(183) 评论(0) 推荐(0) 编辑
摘要:一:物理机局域网工作机制: 二:域名服务的工作流程: 首先通过域名映射到IP地址,如果没有找到域名,向外部服务器DNS查询,然后通过IP地址访问服务器; 三:Vmware--NAT虚拟网络配置: 阅读全文
posted @ 2018-05-05 19:41 QueryMarsBo 阅读(183) 评论(0) 推荐(0) 编辑
摘要:摘自黑马课件 阅读全文
posted @ 2018-05-03 08:10 QueryMarsBo 阅读(255) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示