Elasticsearch4 微服务,es打分机制,es集群搭建,es脑裂问题,Heroku部署
8服务间的通讯
10服务的注册与发现
11高并发和高可用
# 1 Iaas ,Paas和Saas -基础设施服务:自己买服务器,开发项目,部署在服务器上,监控 -平台即服务:项目开发完---》放到人家服务器上即可--》自动备份,自动监控 -软件即服务:买别人的软件服务 iass基础设施服务(组装机):你买了一大堆电脑配件,cpu 主板..然后组装完成后 装上系统就可以上网。还要自己提供场地 环境 paas平台即服务(品牌机):买回来开机就行。需要自己提供场地,和环境(电源) saas软件即服务(去网吧):电脑,场地,环境(电源,网线,饮料)都是网吧提供的服务 # 2 微服务是一个架构的概念 # 3 单体应用:路飞项目所有功能都融到一个大项目里 -单体应用可以拆成一个一个的模块,订单模块,用户模块,商品模块 # 4 微服务 -大项目,拆成订单服务,用户服务,商品服务,单独开发单独上线,三五个人一个项目 # 5 微服务跟分布式有什么区别和联系 -分布式:分散部署在不同的机器上的,一个服务可能有多个功能,是一种面向SOA架构的 -分布式的方式是根据不同机器不同业务 -微服务:相比分布式服务来说,它的粒度更小,服务之间耦合度更低,由于每个微服务都由独立的小团队负责 -微服务更加强调单一职责、轻量级通信(HTTP)、独立性并且进程隔离。 一台机器上可以有多个服务(每个服务是一个进程),每个分布式节点跑在不通机器上 # 6 微服务架构是分布式服务架构的子集 # 7 微服务:每个服务用自己的数据库 # 8 每个服务之间如何通信 -不通进程,甚至是不同的服务器 -同步通信:对内用rpc,对外用restful -restful -rpc (gRPC,Thrift可以用于任意语言rpc框架,都不支持restful协议[了解]) -异步通信 -消息队列 # protobuf协议:xml,josn,protobuf(其实是二进制) 越往右越节省空间 # 9 rpc:远程过程调用(调用远程的函数像调用本地函数一样) -为什么不直接用resful?它是应用层协议,http协议,数据包大一些 -第三方开源的rpc框架,有的是自己的协议,有的也支持resful # 10 服务注册和发现 -一旦上线一个服务,需要在注册中心注册 -zookpper(java),etcd(go),consul(go) # 11 高并发和高可用 - 鉴权:有没有权限来操作 - 重试机制 (API网关再帮忙重试一次) - 限流 (通过后端连接数推测前端可以抗住的并发量,超出的请求被丢弃) -漏桶算法 -令牌桶算法 - 熔断机制 (当借口不可用,下次调服务时就不会再访问这个节点了,后台还有一个程序会实时监控这个服务节点) - 降级 (只接受重要的请求) # 如果软件已经没用了,采取下方方法,承受高并发 -保证高并发:水平扩展(最多:加机器)和垂直扩展(加内存,加硬盘,加cpu) # 微服务相关的词,融到你的简历里 # 项目中:中间件里写了降级的方案 # 链路监控 redis+1-----》100 ---》超没超过100,限流或者降级
# es:重要的就是查询,全文检索 # 打分机制的公式:TF-IDF - 一个词条在某篇文档中出现的次数越多,该文档就越相关,分越高,`TF`是词频(term frequency) - 一个词条如果在不同的文档中出现的次数越多,它就越不相关,分越低,`IDF`是逆文档频率 # 配置打分模型 -一般不配 # 百度seo:免费通过关键字来让你的网站更容易被搜到 # 百度 sem:花钱让你的网站往前放
# 方案一 :广播 -只管启动es,自动加入到集群中,一旦加入进去,自行完成数据copy -只需要启动读个es,自动加入到集群中(集群名字一样,才能加入到集群,没改,集群名字默认一样) #测试拷贝4个es文件夹,把其中\data\nodes下文件删除 一个个起es,因为没有配置端口号,启动端口号一个个往后排 # 方案二:单播 # 注意新加入的节点必须是空数据,空配置文件,如果和其他节点文件相同可以 -1 在每个es的配置文件中写入配置 # 在elasticsearch.yml最底下配 只要有一个es记录就行,认识的自动进集群 cluster.name: my_es1 # 集群名字 node.name: node1 # 节点名字 network.host: 127.0.0.1 监听地址 http.port: 9200 # 监听的端口号 transport.tcp.port: 9300 # 集群交互走的端口 discovery.zen.ping.unicast.hosts: ["127.0.0.1:9300", "127.0.0.1:9302", "127.0.0.1:9303", "127.0.0.1:9304"] # 只要9300,9302,9303,9304端口服务器启动就会加入该集群 假如一个配了9300,9302;一个配了9302,9303。也可以组成集群 -2 启动es即可,自动加入集群 -3 可以在任意节点查数据,写数据,都是往集群中写,从集群中查 -4 自己实现注册发现,重试 # 好多公司用es,都用单机,没有搭集群 # 保证高可用: -有一个节点挂了,服务还能能,数据还是完整(相对的)
# 假设10个节点,一个集群 # 4个节点挂了,4个节点又上来了,4个节点组成一个集群,选了一个主,6个组成一个集群,选了一个主 # 通过配置文件: discovery.zen.minimum_master_nodes: 3 # 大于等于3个才能组成集群 # 脑裂问题出现的原因,如何解决 很多都是单实例---》好点的做个主从
研究一下在Heroku部署django项目(helloworld)
heroku 把环境(python,uwsgi之类的)都搭好了,上传github,heroku会从github上下载
heroku使用Postgres数据库,直接项目数据库需要更改