08 2017 档案
摘要:假设有如下数据,以空格为数据列分割: 1 何维川 124.63 172 0.72 2 张子寅 99.67 172 0.58 3 周广滨 93.34 188 0.50 4 陈兴 41.86 188 0.22 5 薛永成 26.68 188 0.14 6 张永福 18.25 188 0.10 7 李华田
阅读全文
摘要:说下shard出现的几个状态说明: relocating_shards shows the number of shards that are currently moving from one node to another node(现网中遇到,因为kill -9重启es的方法不对,导致node
阅读全文
摘要:Red Cluster! 摘自:http://blog.kiyanpro.com/2016/03/06/elasticsearch/reroute-unassigned-shards/ There are 3 cluster states: When cluster health is red, i
阅读全文
摘要:Recovering unassigned shards on elasticsearch 2.x 摘自:https://z0z0.me/recovering-unassigned-shards-on-elasticsearch/ I got accross the problem when dec
阅读全文
摘要:How to resolve unassigned shards in Elasticsearch 转自:https://www.datadoghq.com/blog/elasticsearch-unassigned-shards/ How to resolve unassigned shards
阅读全文
摘要:解决方法:(1)如果是红色的,可以直接分片shard给你认为有最新(或最多)数据的节点。见下: 摘自:https://discuss.elastic.co/t/how-to-resolve-the-unassigned-shards/87635 Use the reroute command to
阅读全文
摘要:elasticsearch如何安全重启节点 问题: elasticsearch集群,有时候可能需要修改配置,增加硬盘,扩展内存等操作,需要对节点进行维护升级。但是业务不能停,如果直接kill掉节 点,可能导致数据丢失。而且集群会认为该节点挂掉了,就开始转移数据,当重启之后,它又会恢复数据,如果你当前
阅读全文
摘要:摘自:http://unasm.com/2016/11/644/ 在通过 /_cluster/state 命令查看es 状态的时候,发现es 处于一个yellow的状态, 这个很奇怪,按照官方的解释,就是所有主分片都是处于可用状态,但是有复制分片不可用。为什么有复制分片不可用呢? 通过/_cat/s
阅读全文
摘要:什么是一个Shard? Shard就是一个Lucene Index,参照文章(深入理解Shard和Lucene Index)。 Index需要多少个Shard? 回答这个问题,我们需要先谈谈节点,一个集群有多个节点,具体需要多少个节点合适,是另外一个问题,但是这个数字也会影响我们对Shard数的设置
阅读全文
摘要:similarity similarity Elasticsearch allows you to configure a scoring algorithm or similarity per field. The similaritysetting provides a simple way o
阅读全文
摘要:Delaying Shard Allocation Delaying Shard Allocation Delaying Shard Allocation Delaying Shard Allocation As discussed way back in Scale Horizontally, E
阅读全文
集群版本升级——rolling upgrade在ES 单节点从 restart 到加入集群,大概要 100s 左右的时间。也就是说,这 100s 内,该节点上的所有分片都是 unassigned 状态
摘要:集群版本升级 Elasticsearch 作为一个新兴项目,版本更新非常快。而且每次版本更新都或多或少带有一些重要的性能优化、稳定性提升等特性。可以说,ES 集群的版本升级,是目前 ES 运维必然要做的一项工作。 按照 ES 官方设计,有 restart upgrade 和 rolling upgr
阅读全文
摘要:Full cluster restart upgrade Full cluster restart upgrade Full cluster restart upgrade Full cluster restart upgrade Elasticsearch requires a full clus
阅读全文
摘要:Upgrading Elasticsearch Upgrading Elasticsearch Before upgrading Elasticsearch: Consult the breaking changes docs. Use the Elasticsearch Migration Plu
阅读全文
摘要:集群节点Elasticsearch升级 操作流程 1.首先执行Elasticsearch-1.2.2集群的索引数据备份 2.关闭elasticsearch-1.2.2集群的recovery.compress 3.关闭shard reallocation 4.关闭集群中需要升级的节点 5.确认被关闭节
阅读全文
摘要:"cluster.routing.allocation.balance.shard":"0.45f",//定义分配在该节点的分片数的因子 阈值=因子*(当前节点的分片数-集群的总分片数/节点数,即每个节点的平均分片数) "cluster.routing.allocation.balance.inde
阅读全文
摘要:ElasticSearch 深入理解 三:集群部署设计 ElasticSearch从名字中也可以知道,它的Elastic跟Search是同等重要的,甚至以Elastic为主要导向。 Elastic即可伸缩性,作为一个分布式的搜索引擎,可伸缩性是它的核心竞争力。 Elastic&Shard 这两个词能
阅读全文
摘要:Kafka的进程ID为9300,占用端口为9092 QuorumPeerMain为对应的zookeeper实例,进程ID为6379,在2181端口监听 所以在运行官方例子时候 一个是 ./bin/spark-submit --jars ~/spark-streaming-kafka-0-8-asse
阅读全文
摘要:/spark-kafka/spark-2.1.1-bin-hadoop2.6# ./bin/spark-submit --jars ~/spark-streaming-kafka-0-8-assembly_2.11-2.2.0.jar examples/src/main/python/streami
阅读全文
摘要:蜜罐技术本质上是一种对攻击方进行欺骗的技术,通过布置一些作为诱饵的主机、网络服务或者信息,诱使攻击方对它们实施攻击,从而可以对攻击行为进行捕获和分析,了解攻击方所使用的工具与方法,推测攻击意图和动机,能够让防御方清晰地了解他们所面对的安全威胁,并通过技术和管理手段来增强实际系统的安全防护能力。 蜜罐
阅读全文
摘要:机器翻译引擎的基本原理 摘自:infoq 谷歌机器翻译 Zero-shot:零次 Training:训练 Google Neural Machine Translation:谷歌神经机器翻译 我们每天都在使用不同的技术,但却不知道它们的工作原理。事实上,了解机器学习引擎并不容易。Statsbot团队
阅读全文
摘要:细述 Java垃圾回收机制→Types of Java Garbage Collectors 转自:https://segmentfault.com/a/1190000006214497 细述 Java垃圾回收机制→Types of Java Garbage Collectors 转自:https:
阅读全文
摘要:elasticsearch index 之 put mapping mapping机制使得elasticsearch索引数据变的更加灵活,近乎于no schema。mapping可以在建立索引时设置,也可以在后期设置。后期设置可以是修改mapping(无法对已有的field属性进行修改,一般来说只是
阅读全文
摘要:摘自:https://www.zhihu.com/question/31362451/answer/51606300 人的原罪的存在,因为人人皆有,所以在潜意识中,形成了对本我的接纳,而神爱世人与宽恕的存在,形成了本我与超我的良性互动。 在这样的关系中,本我是被接纳的,而非排斥。同时超我接纳本我的同
阅读全文
摘要:含义 “基要主义”一词对应的的英语“Fundamentalism”源于美国长老会,相信基督教《圣经》是神的启示、是无误的,相信上帝如《创世记》所记载的那样创造世界,相信神迹存在,相信耶稣基督是神的儿子、也是神,相信末日,相信审判,相信永生,相信信耶稣的人去天堂、与神和好、直到永远。 与此相对,自由主
阅读全文
摘要:1. 停止所有index服务 2. 执行curl -XPUT $url/_cluster/settings?pretty -d '{"transient" : {"cluster.routing.allocation.enable" : "none"}}' 3. 执行curl -XPOST $url
阅读全文
摘要:# Version 2016060300, Last Updated Fri Jun 3 07:07:01 2016 UTCAAAAARPABBABBOTTABBVIEABOGADOABUDHABIACACADEMYACCENTUREACCOUNTANTACCOUNTANTSACOACTIVEACT
阅读全文
摘要:use this val data = sc.textFile("/home/spark/data.txt") this should work and set master as local. Input path does not exist解决方法 spark-submit --master
阅读全文
摘要:3.3 Spark在预测核心层的应用 我们使用Spark SQL和Spark RDD相结合的方式来编写程序,对于一般的数据处理,我们使用Spark的方式与其他无异,但是对于模型训练、预测这些需要调用算法接口的逻辑就需要考虑一下并行化的问题了。我们平均一个训练任务在一天处理的数据量大约在500G左右,
阅读全文
摘要:SaltStack介绍和架构解析 SaltStack介绍和架构解析 简介 SaltStack是一种新的基础设施管理方法开发软件,简单易部署,可伸缩的足以管理成千上万的服务器,和足够快的速度控制,与他们交流,以毫秒为单位。SaltStack提供了一个动态基础设施通信总线用于编排,远程执行、配置管理等等
阅读全文
摘要:BigDL: Distributed Deep Learning on Apache Spark What is BigDL? BigDL is a distributed deep learning library for Apache Spark; with BigDL, users can w
阅读全文
摘要:几天前微博用户@HUST_维维豆奶在网上控诉,他搭乘东航MU2544次航班(上海浦东—武汉)时,托运的金毛犬在天河机场被打成重伤(附1)。机场方面给出了官方回应(附2与附3),并且已向事主支付了五万元医疗费。 目前事情还在发展之中,在此我们不便判断谁对谁错。但撇开种种理性分析不谈,看到小狗被伤害,在
阅读全文
摘要:特征表达 接下来要谈到的特征工程类型虽然简单却影响巨大。我们将其称为特征表达。 你的数据并不一定总是理想格式。你需要考虑是否有必要通过另一种形式进行特征表达以获取有用信息。 日期与时间特征: 我们假设你拥有purchase_datetime特征。从中提取purchase_day_of_week与pu
阅读全文
摘要:什么是域名的TTL值? 转自:http://hizip.net/index.php/archives/20/TTL(Time-To-Live),就是一条域名解析记录在DNS服务器中的存留时间。当各地的DNS服务器接受到解析请求时,就会向域名指定的NS服务器(权威域名服务器)发出解析请求从而获得解析记
阅读全文
摘要:1,什么是DNS服务器? 互联网是由无数台服务器和PC连接在一起组成的,每个服务器都会有一个唯一的数字标识,叫IP地址,IP地址是数字表示的,比如218.231.156.61服务器,pc之间的通信协议用的是TCP/IP协议,在底层通信里面,通信双方都是凭借IP地址和对方联系的,并没有域名参与。域名是
阅读全文
摘要:Linux上的free命令详解 转自: http://www.cnblogs.com/coldplayerest/archive/2010/02/20/1669949.html 解释一下Linux上free命令的输出。 下面是free的运行结果,一共有4行。为了方便说明,我加上了列号。这样可以把fr
阅读全文
摘要:摘自:http://www.ruanyifeng.com/blog/2015/02/mvcmvp_mvvm.html 一、MVC MVC模式的意思是,软件可以分成三个部分。 视图(View):用户界面。 控制器(Controller):业务逻辑 模型(Model):数据保存 各部分之间的通信方式如下
阅读全文
摘要:elasticsearch如何安全重启节点 标签: elasticsearch 节点 | 发表时间:2016-05-24 03:58 | 作者:kfcman 分享到: 出处:http://www.iteye.com 分享到: elasticsearch集群,有时候可能需要修改配置,增加硬盘,扩展内存
阅读全文
摘要:等待中的任务编辑 等待中的任务编辑 等待中的任务编辑 等待中的任务编辑 有一些任务只能由主节点去处理,比如创建一个新的 索引或者在集群中移动分片。由于一个集群中只能有一个主节点,所以只有这一节点可以处理集群级别的元数据变动。在 99.9999% 的时间里,这不会有什么问题。元数据变动的队列基本上保持
阅读全文
摘要:排版也是醉了见原文:http://www.cnblogs.com/maybe2030/p/5089753.html 排版也是醉了见原文:http://www.cnblogs.com/maybe2030/p/5089753.html 在应用机器学习算法时,我们通常采用梯度下降法来对采用的算法进行训练。
阅读全文
摘要:DNS反射放大攻击分析 摘自:http://www.shaojike.com/2016/08/19/DNS%E6%94%BE%E5%A4%A7%E6%94%BB%E5%87%BB%E7%AE%80%E5%8D%95%E5%88%86%E6%9E%90/ 简介 DNS反射放大攻击主要是利用DNS回复包
阅读全文