bonelee - 博客园

2017年2月23日

摘要：机器学习起源于神经网络，而深度学习是机器学习的一个快速发展的子领域。最近的一些算法的进步和GPU并行计算的使用，使得基于深度学习的算法可以在围棋和其他的一些实际应用里取得很好的成绩。时尚产业是深度学习的目标领域之一。闪购网站Gilt就一直在使用深度学习来进行产品推荐和服装的属性分类。裙子样式是通过阅读全文

posted @ 2017-02-23 09:24 bonelee 阅读(1120) 评论(0) 推荐(0) 编辑

Linus Torvalds: 成功的项目源于99%的汗水与1%的创新

摘要： 2017年2月15日，在加利福尼亚州的开源领袖峰会上，由Linux基金会执行董事Jim Zemlin进行的一次采访中，Torvalds讨论了他如何管理Linux内核的开发以及他对工作的态度。 Linus Torvalds认为，科技行业对创新的颂扬是一种自鸣得意，沾沾自喜，以自我为中心。他更直白地表阅读全文

posted @ 2017-02-23 09:17 bonelee 阅读(347) 评论(0) 推荐(0) 编辑

2017年2月22日

redis实现分布式锁——核心 setx+pipe watch监控key变化-事务

摘要：如何设计一把分布式锁我们用 redis 来实现这把分布式的锁，redis 速度快、支持事务、可持久化的特点非常适合创建分布式锁。分布式环境中如何消除网络延迟对锁获取的影响锁，简单来说就是存于 redis 中一个唯一的 key。一般而言，redis 用 set 命令来完成一个 key 的设置(加阅读全文

posted @ 2017-02-22 20:22 bonelee 阅读(2792) 评论(0) 推荐(0) 编辑

分布式锁的实现方式——ACID数据库、缓存或者是zk

摘要：针对分布式锁的实现，目前比较常用的有以下几种方案：基于数据库实现分布式锁基于缓存（redis，memcached，tair）实现分布式锁基于Zookeeper实现分布式锁在分析这几种实现方案之前我们先来想一下，我们需要的分布式锁应该是怎么样的？（这里以方法锁为例，资源锁同理）可以保证在分布阅读全文

posted @ 2017-02-22 20:12 bonelee 阅读(1400) 评论(1) 推荐(0) 编辑

ES索引瘦身压缩——_source _all 均disable filed store为no，引入第三方DB存储原始数据，去掉pos倒排和doc_values，强制定期merge segments，将所有fileds合并为一个field big string

摘要：原始数据：835MB ES 设置了_source _all disabled 且设置了仅仅存docs倒排Wed Feb 22 11:58:27 CST 2017Before size:1 /home/bone/elasticsearch-2.4.1/data/OK, waiting...0After 阅读全文

posted @ 2017-02-22 18:20 bonelee 阅读(2010) 评论(0) 推荐(0) 编辑

elasticsearch的store属性跟_source字段——如果你的文档长度很长，存储了_source，从_source中获取field的代价很大，你可以显式的将某些field的store属性设置为yes，否则设置为no

摘要：转自：http://kangrui.iteye.com/blog/2262860 转自：http://kangrui.iteye.com/blog/2262860 众所周知_source字段存储的是索引的原始内容，那store属性的设置是为何呢？es为什么要把store的默认取值设置为no？设置为y 阅读全文

posted @ 2017-02-22 14:24 bonelee 阅读(1268) 评论(0) 推荐(0) 编辑

ES field store yes no 区别——可以设置为false，如果_source有的话

摘要： store store By default, field values are indexed to make them searchable, but they are not stored. This means that the field can be queried, but the o 阅读全文

posted @ 2017-02-22 14:06 bonelee 阅读(2513) 评论(0) 推荐(0) 编辑

ES _all、_source的使用——_all字段连接所有字段的值构成一个用空格（space）分隔的大string而被analyzed和index，document主体保存在_source中

摘要： 1._all 1.1_all field _all字段是一个很少用到的字段，它连接所有字段的值构成一个用空格（space）分隔的大string，该string被analyzed和index，但是不被store。当你不知道不清楚document结构的时候，可以用_all。如，有一document： [ 阅读全文

posted @ 2017-02-22 13:14 bonelee 阅读(4785) 评论(0) 推荐(0) 编辑

ES _source字段介绍——json文档，去掉的话无法更新部分文档，最重要的是无法reindex

摘要：摘自：https://es.xiaoleilu.com/070_Index_Mgmt/31_Metadata_source.html The _source field stores the JSON you send to Elasticsearch and you can choose to o 阅读全文

posted @ 2017-02-22 12:24 bonelee 阅读(7144) 评论(0) 推荐(0) 编辑

ES提高数据压缩的设置——单字段，去掉source和all

摘要：此外，强制merge也可以大大降低索引的大小！ curl -XPOST 'localhost:9200/hec_test3/_forcemerge' 阅读全文

posted @ 2017-02-22 12:06 bonelee 阅读(4122) 评论(0) 推荐(0) 编辑

将者，智、信、仁、勇、严也。

Hi，我是李智华，华为-安全AI算法专家，欢迎来到安全攻防对抗的有趣世界。

公告