摘要： 可用性战术 恢复和修复是可用性的重要方面，为了阻止错误发展成故障，至少能够把错误限制在一定的范围内，从而使修复成为可能。维持可用性的所有方法包括某种类型的冗余，用来检测故障的某种类型的健康监视，以及当检测到故障时某种类型的恢复。有些情况下，监视或恢复是自动进行的，有时需要手动。 我们事项考虑错误检测 阅读全文

摘要： PageRank 网页之间有联系，有相互引用关系，在百度搜索时候网页出现先后顺序，引用关系的越多越重要 对于数据量特别大的计算需要PageRank，采用mapreduce的计算模型。把一个大的数据量拆分成小的数据量。 拆分的过程叫map 把小部分汇总起来叫reduce Mapreduce由map和r 阅读全文

摘要： 1.可用性 可用性与系统故障及其后果相关，当系统不再提供其规范中所说的服务时，就出现了系统故障。系统用户可以观察到此类故障。 可用性是指系统正常运行时间的比例，是通过两次故障之间的时间长度或在系统崩溃情况下能够恢复正常运行的速度来衡量的 刺激源 系统外部用户 刺激 双十一很多用户进行同时访问，系统访 阅读全文

摘要： 软件的主要目的就是把人类的生活模拟化，提供更低成本，高效率的新的生活。软件开发的架构演变软件工程师是实现这个模拟过程的关键人物，他必须先理解人是怎么在日常生活中完成工作的，才能够很好的把这些工作在计算机中模拟出来。可是软件工程师需要学习大量的计算机语言和计算机知识，还需要学习各行各业的专业知识。 软 阅读全文

摘要： 1.为什么会产生架构？一旦产生分工，就把所有的事情切分成由不同角色的人来完成，最后再通过交易，使得每个个体都拥有 生活必须品，而不需要每个个体做所有的事情，只需要每个个体做好自己擅长的事情，并具备一定的交 易能力即可。就形成了社会的架构。2.架构产生的五个条件：（1）必须由人执行工作（2）每个人的能 阅读全文

摘要： 通过这几天的学习，发现有些网页的爬取比较简单，比如小说，但是其他爬取北京市政百姓信件这个网页并没有想象中那么简单，在翻页的时候，网址并没有发生改变，后来通过询问同学，了解了ajax技术，通过scrapy框架和json来进行爬取，首先信件列表网页找到详细页面的url地址，发现网页中并没有完整的url地 阅读全文

摘要： 一、python数据提取xpath1.beautifulsoup xpath 正则表达式2.xpath是一种在XML和HTML文档中查找信息的语言，可用来在XML和HTML中对元素进行遍历 Chrome XPath Helper3.XPath语法（1）选取节点：使用路径表达式来选取文档中的节点 no 阅读全文

摘要： 今天主要完成了实验六，就flume进行了安装 1.安装 Flume 2. 使用 Avro 数据源测试 Flume 3. 使用 netcat 数据源测试 Flume 4.使用 Flume 作为 Spark Streaming 数据源 package org.apache.spark.examples. 阅读全文

摘要： 今天完成了实验五： 1．Spark SQL 基本操作 将下列 JSON 格式数据复制到 Linux 系统中，并保存命名为 employee.json。 { "id":1 , "name":" Ella" , "age":36 } { "id":2, "name":"Bob","age":29 } { 阅读全文

摘要： scrapy框架1.scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，使用了Twisted（扭曲）异步网络框架，可以加快下载是速度。同步异步（过程） 阻塞非阻塞（状态） 2.工作流程：scheduler（调度器）里面存放request对象，这个对象里有url地址scrapy eng 阅读全文