02 2019 档案
摘要：一、Spider 用法 在 Scrapy 中，要抓取网站的链接配置、抓取逻辑、解析逻辑都是在 Spider 里完成的。Spider 的一些基础属性和基础方法： name ：爬虫名字，Spider的名字定义了 Scrapy 是如何定位并初始化 Spider的，必须是 唯一 的。例如爬取 mywebsi
阅读全文
摘要：一、介绍 Scrapy 是一个基于 Twisted 的 异步处理 框架，是纯 Python 实现的爬虫框架，其架构清晰，模块之间耦合较低，扩展性和灵活强，是目前 Python 中使用 最广泛的爬虫框架 。 1. 架构示意图； 它分为以下几个部分： Engine ：引擎，处理整个系统的数据流处理、
阅读全文
摘要：一、Spring Security 介绍 Spring Security 是针对Spring项目的安全框架，也是Spring Boot底层安全模块的默认技术选型。我们仅需引入 spring boot stater security 模块，进行少量的配置，即可实现强大的安全管理功能。 重要类 ： We
阅读全文
摘要：一、任务 1、异步任务 访问：http://localhost:8080/say，由于处理 doSomething() 方法会阻塞 3 秒，所以浏览器 3 秒后才会得到字符串 Hello world!。为了加快其返回结果，可以将 doSomething() 方法修改为异步任务执行，首先在方法体上面加
阅读全文
摘要：一、ElasticSearch 介绍 开源的 ElasticSearch 是目前全文搜索引擎的首选，它是一个 分布式搜索服务 ，提供 Restful API ，它可以快速地 存储、搜索和分析海量数据 。底层基于 Lucene，采用多 shard（分片）的方式保证数据安全，并且提供自动 resha
阅读全文
摘要：一、消息概述 在大多数应用中，可以通过 消息服务中间件 来提升系统的 异步通信 、 扩展解耦 和 流量削峰 等能力。 当消息发送者发送消息后，将由 消息代理 接管，消息代理保证消息传递到指定 目的地 。 消息队列主要有两种形式的目的地： 队列（queue）：点对点消息通信（point to poin
阅读全文
摘要：[TOC] 一、目的 缓存是用于提升系统的性能，加速系统的访问，降低成本的一种技术。可以将一些高频、热点信息放入缓存中，避免直接从数据库中查询，如商品的页面信息这种经常被访问的数据。 二、JSR 107 缓存规范 为了统一缓存的开发规范、提高系统的扩展性和最小化开发成本等，J2EE 发布了 JS
阅读全文
