Elasticsearch（四）优化用户体验
摘要：改正用户拼写 Term suggester：词项匹配建议；可以通过wiki的插件来下载wiki上面的单词以及短语，来作为你的拼写提示基础仓库； Phrase suggester：n-gram算法，短语匹配； Complete suggester：prefix匹配；内置了FST（Finite Stat
阅读全文
posted @ 2018-08-26 23:16
08 2018 档案
ElasticSearch（三）不仅仅是查询
摘要：二次评分 查询出来结果后，进行二次评分； 但是其实每个文档查询出来的结果是两次查询的分数之和，这个其实并不是很能讲的清楚； 多匹配控制 多匹配是指multi-match，控制则是指一下的几种控制方式： best_field：多个字段，相同的查询内容，例如： 上面的查询将会被解析为多个match子句：
阅读全文
posted @ 2018-08-26 22:10
ElasticSearch(二) 关于DSL
摘要：关于Lucene里面的查询评分，其实是基于一个公式：TF/ IDF（Term-Frequency/ Inverse Document Frequency），词频率/ 倒排文档频率，这个公式讲了一个故事，就是一个不具备区分度的词，就是它的在各个文档中都有出现（在每个文档中出现次数并不重要），那么这个词
阅读全文
posted @ 2018-08-26 12:29
ElasticSearch：Lucene和ElasticSearch
摘要：Lucene的概念： 关于索引 索引（index）和搜索（搜索），在lucene以及es里面索引是一个动作，即插入动作，包括创建索引以及为索引添加文档；所有则是针对索引（添加）的文档按照评分规则进行查询索引数据，然后计算（比如评分，聚合等），以获取相应数据。 索引相关有文档相关因子（norm）：no
阅读全文
posted @ 2018-08-19 22:55
梯度下降
摘要：梯度下降是不同于Normal Equals的方式；梯度本质是一个试错过程，不断的尝试一个个theta，寻找能够使的成本函数值最小的可能性。所谓下降是指不断的theat的取值是不断小步减少的；梯度，是指这个减少是逐渐，非线性的。 梯度下降有三种常见的函数：批量梯度下降，随机梯度下降以及最小化梯度下降。 先来看批量梯度下降，在Normal Equal里面我们接触了函数MSE，那么在梯度下降里面我们还是...
阅读全文
posted @ 2018-08-13 20:21
关于value_count
摘要：value_counts将会对于指定列的数据进行group，然后统计出各个出现的值的数量，并且按照从高到低的顺序进行排序 输出： 代表Pclass这个字段共有三种值：1，2，3；出现的次数分别为216,184以及491，上面的列表就是按照出现“值”的数量从高到低排列以及数量进行排列； 原则即使：在对
阅读全文
posted @ 2018-08-12 22:43
ELK入门以及常见指令
摘要：ES的资源： https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started.htmlhttps://www.elastic.co/webinars/getting-started-kibana?baym
阅读全文
posted @ 2018-08-12 22:27
jupyter notebook的路径
摘要：跟你执行jupyter notebook的当前路径有关系；你在哪个路径下执行的这个语句，那么你就是以那个路径为基础的workspace
阅读全文
posted @ 2018-08-12 22:27
Kafka
摘要：Kafka的Topic的物理实现是partition，partiton本质是一个消息队列，topic是抽象的概念，parition则是具体的实现；同时partition可以分布到不同的机器上面，一定程度这种分布式可以避免单点故障； Kafka是一种集群架构，每一个物理部署都是一个broker（代理）
阅读全文
posted @ 2018-08-12 22:17
windows可以使用curl啦(以及其他的Linux下面的指令)！
摘要：windows可以使用cUrl了！同期放出了tar指令，去年下半年才放出来的。 介绍文章 https://blogs.technet.microsoft.com/virtualization/2017/12/19/tar-and-curl-come-to-windows/ 下载路径 https://
阅读全文
posted @ 2018-08-12 22:15
安装EKL
摘要：elasticsearch rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch /etc/yum.repos.d/elasticsearch.repo: [elasticsearch-6.x] 配置/etc/elastics
阅读全文
posted @ 2018-08-12 21:51
网络地址0.0.0.0和127.0.0.1
摘要：多网卡情况下，服务监听端口可以做选择监听那个网卡（的端口）；这个时候就需要配置监听的hostIp为0.0.0.0； 我是在安装elk的elastisearch的时候发现的问题；curl locahost:9200没有问题，但是curl 外网IP:9200的时候则报错：curl: (7) Failed
阅读全文
posted @ 2018-08-12 21:21
线性回归原理
摘要：首先要明白线性回归的基本公式： 向量的表达公式就是： 在机器学习里面，目标就是通过既有的X,y数据来推断出theta的值，来使得该公式最大化的接近点集区域；为了实现这个，采用的工具就是M均方差错误（Mean Square Error，MSE）；就是让推断出来的theta和X的乘积于原始y数据之差尽量
阅读全文
posted @ 2018-08-08 13:57
