摘要：
在上一篇中我们介绍了Beautiful Soup解析库的使用方法，用解析出数据之后，接下来就是存储数据的问题了。数据保存的方式多种多样，最简单的形式是直接保存成文本文件，比如txt/json/csv....另外还可以保存到数据库 关系型数据库--Mysql MSsql,非关系型数据库 MongoDB 阅读全文
摘要：
在上一章我们安装了开发的IDE，但是要开发一个好的爬虫工具，我们还要安装一些第三方的库，现在很多第三方的库非常的成熟稳定了。我们可以直接拿来使用不用重复造轮子，开发效率大大的提高。下面我们就开始装库之路吧。 首先在vs2017如何安装第三方库？请看下面4个步骤： 1、在vs2017新建一个Pytho 阅读全文
摘要：
网站策划的目的是为了运营，以B2C网站为例，策划人员除了策划网站的前台页面之外，后台系统的策划也是必不可少的（如，产品发布模块，等某些大型 网站可能会有订单处理后台、结算处理后台等），我们必须先指明关键指标的适用角色，操作后台的角色无疑是：数据录入员、订单处理人员、结算人员。那对于他们而言是其关键指标就是：提升效率、降低差错率！如何提升效率并降低差错率，就成了我这所述的网站运营策划的关键指标和原则：原则1： 能在一个页面完成的工作，决不在两个页面实现！其实这涉及到了一个表单的问题，通常我们在前台设计时的原则是让用户填写最少的内容，获得最满意的信息。但在后台设计时恰恰相反，多一步的保存就是 对时 阅读全文
摘要：
总结：①序列化基本是指把一个对象保存到文件或流中，比如可以把文件序列化以保存到Xml中，或一个磁盘文件中 ②序列化以某种存储形式使自定义对象持久化； ③将对象从一个地方传递到另一个地方。 ④将类的值转化为一个一般的（即连续的）字节流，然后就可以将该流写到磁盘文件或任何其他流化目标上。 ⑥序列是指将对象的实例状态存储到存储媒体的过程。 在此过程中，先将对象的公共字段以及类的名称（包括类的程序集）转换为字节流，然后再把字节流写入数据流。在随后对对象进行反序列化时，将创建出与原对象完全相同的副本。 ⑦用处非常大，用于数据传输，对象存贮等。这些是我通过网上多方参考再结合自己的经验总结的。还是看实例.. 阅读全文
摘要：
策略模式实现方式 a) 提供公共接口或抽象类，定义需要使用的策略方法。（策略抽象类） b) 多个实现的策略抽象类的实现类。（策略实现类） c) 环境类，对多个实现类的封装，提供接口类型的成员量，可以在客户端中切换。 d) 客户端 调用环境类 进行不同策略的切换。 策略模式的优点 1、策略模式提供了管 阅读全文
摘要：
一、概述简单工厂模式是属于创建型模式，又叫做静态工厂方法（Static Factory Method）模式，但不属于23种GOF设计模式之一。简单工厂模式是由一个工厂对象决定创建出哪一种产品类的实例。简单工厂模式是工厂模式家族中最简单实用的模式，可以理解为是不同工厂模式的一个特殊实现。 来自百度百科 阅读全文
摘要：
单例模式有以下特点： 1、单例类只能有一个实例。 2、单例类必须自己创建自己的唯一实例。 3、单例类必须给所有其他对象提供这一实例。 单例模式确保某个类只有一个实例，而且自行实例化并向整个系统提供这个实例。在计算机系统中，线程池、缓存、日志对象、对话框、打印机、显卡的驱动程序对象常被设计成单例。这些 阅读全文
摘要：
1、主备架构是计算高可用最简单的架构，可以细分为冷备架构和温备架构，常用温备架构。 冷备架构：备机上的程序包和配置文件都准备好，但是业务系统没有启动。 温备架构：备机上的业务系统已经启动，只是不对外提供服务，主机故障后，需要人工切换。 2、计算高可用的主备架构比较适合内部管理系统、后台管理系统这种使 阅读全文
摘要：
1、主备架构中的“备机”主要还是起一个备份作用，并不承担实际的业务读写操作。 2、主从架构中的主机负责读写操作，从机负责度操作，不负责写操作。 3、数据集中集群可以看做一主多备或一主多从。 阅读全文
摘要：
1、高性能的数据库集群的第一种方式是“读写分离”，其本质是将访问压力分散到集群中的多个节点，但是没有分散存储压力。 1/1数据库服务器搭建主从集群，一主一从、一主多从。 1/2数据库主机负责读写操作，从机负责读操作。 1/3数据库主机通过复制将数据同步到从机，每台数据库服务器都存储了所有的业务数据。 阅读全文
摘要：
1、合适原则 合适优于业界领先。 2、简单原则 简单优于复杂。 3、演化原则 演化优于一步到位，对于软件来说，变化才是主题。 重点：1、设计架构的时候，首先要分析出系统的复杂性。 2、架构师根据自己对业务的理解，挑选合适的架构模式进行组合，再对组合后的方案进行修改和调整。新技术都是在现有的技术的基础 阅读全文
摘要：
1、系统与子系统 系统：由一群有关联的个体，根据某种规则运作，能完成个别元件不能完成的工作的群体。关键词：关联、规则、能力。关联--发动机和PC放在一起不能称为系统，把发动机、底盘、轮胎、车架组合起来才能称为一台汽车（系统）；规则：发动机负责动力、车轮负责行走；能力：汽车能够载重前行。 子系统：子系 阅读全文
摘要：
一、Scrapy介绍 Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫 阅读全文