一剑侵心

摘要： 1. 按照 tags 字段 进行分组 GET /ecommerce/product/_search{ "size": 0, "aggs": { "group_by_tag": { "terms": { "field": "tags", "size": 10 } } }} （注意： "size": 0 阅读全文

摘要： 1. Elasticsearch的适用场景： （1）类似百度百科的全文检索，高亮，搜索推荐（2）新闻类的搜索，用户行为日志（点击，浏览，收藏，评论）+社交网络数据（对某某新闻的相关看法），数据分析，给到每篇新闻文章的作者，让他知道他的文章的公众反馈（3）Stack Overflow（国外的程序异常讨 阅读全文

摘要： 1. 进入HBase 的控制端（可以在任意一台机器上启动，只要其配置和HMaster 的配置一样）： hbase shell 进入后，出现类似下面的提示符： hbase(main):002:0> 2. 输入 help ， 可以列出所有的命令。 得到某个命令的详细用法： help "create" 注 阅读全文

摘要： 安装： apt-get install mysql-server 会安装最新版本的 mysql ，安装时会提示输入 root 的密码 进入 mysql： mysql -u root -p 进入后会出现 mysql> 的提示符。 创建一个用户，下面例子中的用户是 sqoop： create user 阅读全文

摘要： HBase 使用的是 1.2.9 的版本。 Hadoop HA 的搭建见我的另外一篇：Hadoop 2.7.3 HA 搭建及遇到的一些问题 以下目录均为 HBase 解压后的目录。 1. 修改 conf/hbase-site.xml，内容如下 2. 修改 hbase-env.sh export JA 阅读全文

摘要： Spark 中 RPC 部分的涉及了几个类，有点晕，在此记录一下 1. RpcEndpoint： RPC的一个端点。给定了相应消息的触发函数。保证 `onStart`, `receive` and `onStop` 函数按顺序触发。 2. RpcEndpointRef： 一个远程的 RpcEndpo 阅读全文

摘要： 1. 文本分类 （1）分词： 中文分词系统 -- NLPIR（也叫ICTCLAS2013）， 还有庖丁解牛分词器。 召回率（Recall）：是指检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的查全率。 精度（Precise）：是指检索出的相关文档数与检索出的文档总数的比率，衡量 阅读全文

摘要： 协同过滤有两种思路： （1） 邻居方法 （a） 基于用户。系统通过分析一个用户和哪些用户的特征比较像，然后看看这些用户喜欢买哪类的商品，再从这些商品里挑出一些推荐给该用户。 （b） 基于商品。系统通过分析用户的购买行为来判断用户喜欢的商品类型，然后从那些用户喜欢的商品类型里挑出一些推荐给用户。 （2 阅读全文

摘要： 用户画像要注意的地方： （1） 距离现在时间越近发现的一些物质应该和久远时间发现的物质区别对待。 （2）体现与众不同的特点。 （3） 数字化等级标注。没办法做到数字化的东西是不能计算也不能比较的。 阅读全文

摘要： 1. 朴素贝叶斯 贝叶斯决策理论方法是统计模型决策中的一个基本方法，基本思想如下： （1） 已知类条件概率密度参数表达式和先验概率 （2） 利用贝叶斯公式转换成后验概率 （3） 根据后验概率大小进行决策分类。 贝叶斯概率研究的是条件概率，也就是研究的场景是在带有某些前提条件下，或者在某些背景条件的约 阅读全文