11 2018 档案
摘要:1. Kafka全部数据清空 kafka全部数据清空的步骤为: 这里以192.168.187.201 node1、192.168.187.202 node2、192.168.187.203 node3三台机器作为kafka的集群。 注意:kafka版本为kafka_2.11-1.1.1 1.1 停止
阅读全文
摘要:1. Elasticsearch Java API有四类client连接方式 TransportClient RestClient Jest Spring Data Elasticsearch 其中TransportClient和RestClient是Elasticsearch原生的api。Tran
阅读全文
摘要:1. SparkContext概述 注意:SparkContext的初始化剖析是基于Spark2.1.0版本的 Spark Driver用于提交用户应用程序,实际可以看作Spark的客户端。了解Spark Driver的初始化,有助于读者理解用户应用程序在客户端的处理过程。 Spark Driver
阅读全文
摘要:最近在参与一个基于Elasticsearch作为底层数据框架提供大数据量(亿级)的实时统计查询的方案设计工作,花了些时间学习Elasticsearch的基础理论知识,整理了一下,希望能对Elasticsearch感兴趣/想了解的同学有所帮助。 同时也希望有发现内容不正确或者有疑问的地方,望指明,一起
阅读全文
摘要:1. 集成学习(Ensemble learning) 基本思想:让机器学习效果更好,如果单个分类器表现的很好,那么为什么不适用多个分类器呢? 通过集成学习可以提高整体的泛化能力,但是这种提高是有条件的: (1)分类器之间应该有差异性; (2)每个分类器的精度必须大于0.5; 如果使用的分类器没有差异
阅读全文