摘要：
内存那些事 linux中的free m可以查看当前的内存使用情况 [yejianfeng@iZ23fsd ~]$ free m total used free shared buffers cached Mem: 7869 7737 132 0 489 4419 /+ buffers/... 阅读全文
随笔分类 - 开源研究
elasticsearch 文档
2015-10-12 11:54 by 轩脉刃, 9486 阅读, 收藏, 编辑
摘要：
elasticsearch 文档 文档格式 索引中最基本的单元叫做文档 document. 在es中文档的示例如下： 文档中下划线开头的是es自带的字段 \_index 代表索引名 \_type 代表类型 \_id 代表文档id，如果插入文档的时候没有设置id的话，那么es会... 阅读全文
elasticsearch 集群
2015-10-10 09:56 by 轩脉刃, 28236 阅读, 收藏, 编辑
摘要：
elasticsearch 集群 搭建elasticsearch的集群 现在假设我们有3台es机器，想要把他们搭建成为一个集群 基本配置 每个节点都要进行这样的配置： cluster.name: baichebao cluster 这个是配置集群的名字，为了能进行自动查找 no... 阅读全文
elasticsearch中的API
2015-10-09 09:47 by 轩脉刃, 34606 阅读, 收藏, 编辑
摘要：
elasticsearch中的API es中的API按照大类分为下面几种： 文档API: 提供对文档的增删改查操作 搜索API: 提供对文档进行某个字段的查询 索引API: 提供对索引进行操作 查看API: 按照更直观的形式返回数据，更适用于控制台请求展示 集群API: 对集群进行查... 阅读全文
lucene 的评分机制
2015-10-08 09:46 by 轩脉刃, 11530 阅读, 收藏, 编辑
摘要：
lucene 的评分机制 elasticsearch是基于lucene的，所以他的评分机制也是基于lucene的。评分就是我们搜索的短语和索引中每篇文档的相关度打分。
如果没有干预评分算法的时候，每次查询，lucene会基于一个评分算法来计算所有文档和搜索语句的相关评分。
使用lucene的评分... 阅读全文
安装elasticsearch及中文IK和近义词配置
2015-09-07 16:34 by 轩脉刃, 13181 阅读, 收藏, 编辑
摘要：
安装elasticsearch及中文IK和近义词配置 安装java环境 java环境是elasticsearch安装必须的 安装elasticsearch 其实es的安装非常简单了 安装head插件 head插件让我们能更简单管理elasticsearch 访问... 阅读全文
输入URL之后都发生了什么
2015-06-12 15:02 by 轩脉刃, 5143 阅读, 收藏, 编辑
摘要：
# 输入URL之后都发生了什么这个标题印象中已经有很多讨论了。也来说说这个话题。从头开始，当你的电脑使用网线连接到网络的时候，我们都知道，这个时候你的电脑会获取一个IP，这个IP就是你的唯一标识了。好了继续，你在浏览器中敲入了http://www.sina.com，开始你的网络之旅。那么这个时候问题... 阅读全文
elk收集分析nginx access日志
2015-06-11 09:59 by 轩脉刃, 17415 阅读, 收藏, 编辑
摘要：
# elk收集分析nginx access日志首先elk的搭建按照这篇文章[使用elk+redis搭建nginx日志分析平台](http://www.cnblogs.com/yjf512/p/4199105.html)说的，使用redis的push和pop做队列，然后有个logstash_index... 阅读全文
postgres配置主从流复制
2015-05-13 10:11 by 轩脉刃, 33788 阅读, 收藏, 编辑
摘要：
# postgres主从流复制postgres在9.0之后引入了主从的流复制机制，所谓流复制，就是从库通过tcp流从主库中同步相应的数据。postgres的主从看过一个视频，大概效率为3w多事务qps。postgres的主从主称之为primary，从称为stand_by。主从配置需要注意的一个是主从... 阅读全文
postgres中几个复杂的sql语句
2015-04-16 10:40 by 轩脉刃, 6374 阅读, 收藏, 编辑
摘要：
# postgres中几个复杂的sql语句# 需求一需要获取一个问题列表，这个问题列表的排序方式是分为两个部分，第一部分是一个已有的数组[0,579489,579482,579453,561983,561990,562083] 第二个部分是按照id进行排序，但是需要过滤掉前面已有的数组。最开始的时候... 阅读全文
postgres中的中文分词zhparser
2015-04-09 10:32 by 轩脉刃, 4926 阅读, 收藏, 编辑
摘要：
# postgres中的中文分词zhparser## postgres中的中文分词方法基本查了下网络，postgres的中文分词大概有两种方法：* Bamboo* zhparser其中的Bamboo安装和使用都比较复杂，所以我选择的是zhparser## zhparse基于scws[scws](ht... 阅读全文
postgres中的视图和物化视图
2015-04-08 12:48 by 轩脉刃, 17375 阅读, 收藏, 编辑
摘要：
# 视图和物化视图区别postgres中的视图和mysql中的视图是一样的，在查询的时候进行扫描子表的操作，而物化视图则是实实在在地将数据存成一张表。说说版本，物化视图是在9.3 之后才有的逻辑。# 比较下视图和物化视图的性能创建两个表 CREATE TABLE teacher ( ... 阅读全文
安装thrift
2015-03-13 11:27 by 轩脉刃, 2274 阅读, 收藏, 编辑
摘要：
# 要求thrift至少需要支持三种语言：* Java* PHP* Go# 预安装```基本教程：http://thrift.apache.org/docs/install/centos```使用最新的thrift，不要使用9.2版本以下## 安装autoconf```wget http://ftp... 阅读全文
mysql的collation
2015-01-19 13:41 by 轩脉刃, 21247 阅读, 收藏, 编辑
摘要：
mysql的collation大致的意思就是字符序。首先字符本来是不分大小的，那么对字符的>, = , < 操作就需要有个字符序的规则。collation做的就是这个事情，你可以对表进行字符序的设置，也可以单独对某个字段进行字符序的设置。一个字符类型，它的字符序有多个，比如：下面是UTF8对应的字符... 阅读全文
使用elk+redis搭建nginx日志分析平台
2015-01-03 07:46 by 轩脉刃, 73012 阅读, 收藏, 编辑
摘要：
elk+redis 搭建nginx日志分析平台 logstash,elasticsearch,kibana 怎么进行nginx的日志分析呢？首先，架构方面，nginx是有日志文件的，它的每个请求的状态等都有日志文件进行记录。其次，需要有个队列，redis的list结构正好可以作为队列使用。然后分... 阅读全文
安装logstash,elasticsearch,kibana三件套
2014-12-30 16:49 by 轩脉刃, 53310 阅读, 收藏, 编辑
摘要：
logstash,elasticsearch,kibana三件套 elk是指logstash,elasticsearch,kibana三件套，这三件套可以组成日志分析和监控工具 注意： 关于安装文档，网络上有很多，可以参考，不可以全信，而且三件套各自的版本很多，差别也不一样，需要版本匹配上才... 阅读全文
技术晨读_2014_12_22
2014-12-22 13:48 by 轩脉刃, 655 阅读, 收藏, 编辑
摘要：
#技术晨读#varchar和text说不清那些事mysql中大变长字段缺点就是占用了buffer pool，对内存使用造成浪费。varchar在长度超过255之后和text在存储机制上就是一样的了。所以varchar大字段一样会降低性能。http://wubx.net/varchar-vs-text... 阅读全文
每日晨读_20141127
2014-11-17 09:31 by 轩脉刃, 714 阅读, 收藏, 编辑
摘要：
#技术晨读#浅谈Heatmap怎么通过js，做打点，然后渲染出热点图，就和GA一样的那个玩意...http://huoding.com/2011/01/04/39#技术晨读#Jquery插件库刚开工，水一下，感觉很酷的jquey插件库http://www.jq22.com/#技术X读#关于用 MyS... 阅读全文
每日晨读_20140924
2014-09-29 09:56 by 轩脉刃, 564 阅读, 收藏, 编辑
摘要：
#技术晨读#HttpOnly隐私嗅探器cookie的HttpOnly保证了cookie不会被js泄漏，但是总有一些办法绕过httponly，如何来检测我的httponly的cookie是不是泄漏了呢？作者就做了这么个事情…http://drops.wooyun.org/tips/2834#技术晨读#... 阅读全文
技术晨读_2014_9_1
2014-09-01 12:58 by 轩脉刃, 868 阅读, 收藏, 编辑
摘要：
#技术晨报#NoSQL反模式 – 文档数据库篇文章说的是关系型数据库怎么转换为文档型数据库，比如mongoDB...http://blog.nosqlfan.com/html/4156.html#技术晨读#DDOS攻防战这是系列文章，目前到第三讲，讲了下DDOS攻击方式和原理及防守方式及原理。Web... 阅读全文