|旧市拾荒|

摘要： 1、数据路由 1.1 文档存储怎么路由到相应分片？ 一个文档，最终会落在主分片的一个分片上，到底应该在哪一个分片？这就是数据路由。 1.2 路由算法 shard = hash(routing) % number_of_primary_shards 简单来说就是哈希值对主分片数取模。 举例： 对一个文 阅读全文

摘要： 1 ElasticSearch分布式基础 1.1 ES分布式机制 分布式机制：Elasticsearch是一套分布式的系统，分布式是为了应对大数据量。它的特性就是对复杂的分布式机制隐藏掉。 分片机制：数据存储到哪个分片，副本数据写入另外分片。 集群发现机制：新启动es实例，会自动加入集群。 shar 阅读全文

摘要： 1、前置 java api 文档 https://www.elastic.co/guide/en/elasticsearch/client/java-rest/7.3/java-rest-overview.html。low : 偏向底层。high：高级封装。 导入相关maven依赖 <!--es客户 阅读全文

摘要： Bulk 操作是将文档的增删改查一些列操作，通过一次请求全都做完。目的是减少网络传输次数。 语法： POST /_bulk {"action": {"metadata"}} {"data"} 如下操作，创建14，创建5，删除5，更新14 POST /_bulk { "create": { "_ind 阅读全文

摘要： 1、悲观锁与乐观锁机制 为控制并发问题，我们通常采用锁机制。分为悲观锁和乐观锁两种机制。 悲观锁：很悲观，所有情况都上锁。此时只有一个线程可以操作数据。具体例子为数据库中的行级锁、表级锁、读锁、写锁等。 特点：优点是方便，直接加锁，对程序透明。缺点是效率低，并发能力非常弱。 乐观锁：很乐观，对数据本 阅读全文

摘要： 1 、新建图书索引 首先建立图书索引 book 语法：put /index PUT /book 结果 2、新增图书 :新增文档 语法：PUT /index/type/id PUT /book/_doc/1 { "name": "Bootstrap开发", "description": "Bootst 阅读全文

摘要： 题目： 桌子上有n块石头排成一行，每一块都可以是红色、绿色或蓝色。计算从表中取出的石头的最小数量，以便相邻的任何两块石头具有不同的颜色。如果一排石头之间没有其他石头，则认为它们相邻。 输入： 第一行包括一个正整数 n (1 ≤ n ≤ 50) -桌上石头的数量。下一行包含字符串s，它表示石头的颜色。 阅读全文

摘要： 在做ElasticSearch查询操作的时候，发现Hits[].length总是比totalHits.value少1。代码如下： SearchRequest request = new SearchRequest("indexName"); SearchSourceBuilder builder = 阅读全文

摘要： 由于项目的需要，使用到了全文检索技术，这里将前段时间所做的工作进行一个实践总结，方便以后查阅。在实际的工作中，需要灵活的使用lucene里面的查询技术，以达到满足业务要求与搜索性能提升的目的。 一、全文检索介绍 1.1为什么需要全文检索 数据可以分为结构化数据和非结构化数据，对数据查询时，结构化数据 阅读全文

摘要： 题目： Dawid有了 4 包糖果。第 i 包里面有 Ai 个糖果。 Dawid想把这四包糖果送给两个朋友，能否让两个朋友收到相同数量的糖果？注意，不能拆开任何一包糖，不能把糖果留给自己或扔掉，四包糖果都应该送出去。 输入： 一行包含四个整数 A1、A2、A3、A4(1≤Ai≤100) 分别代表每一 阅读全文

摘要： 题目： 现在有一个容器，里面有n个物品，编号为1-n,现在小q可以进行一些操作，每次取出任意两个数，可以把这两个数的编号相加，相减，相乘，再把结果放回容器。问最后小q能否在n-1次操作后使得容器里的唯一一个物品的编号为24？ 输入： 一个n (1 ≤ n ≤ 105). 输出： 如果小q不能，就输出 阅读全文

摘要： SparkContext是通往Spark集群的唯一入口，是整个Application运行调度的核心。 一、Spark Driver Program Spark Driver Program（以下简称Driver）是运行Application的main函数并且新建SparkContext实例的程序。其 阅读全文

摘要： 一、Runtime架构图 （1）从Spark Runtime的角度讲，包括五大核心对象：Master、Worker、Executor、Driver、CoarseGrainedExecutorBackend。 （2）Spark在做分布式集群系统设计的时候：最大化功能独立、模块化封装具体独立的对象、强内 阅读全文

摘要： 一、Spark WordCount动手实践 我们通过Spark WordCount动手实践，编写单词计数代码；在wordcount.scala的基础上，从数据流动的视角深入分析Spark RDD的数据处理过程。 首先需要建立一个文本文件helloSpark.txt，helloSpark.txt的文本 阅读全文

摘要： 一、搭建环境的前提条件 环境：Linux系统 Hadoop-2.6.0 MySQL 5.6 apache-hive-2.3.7 这里的环境不一定需要和我一样，基本版本差不多都ok的，所需安装包和压缩包自行下载即可。但是注意hive和hadoop都是2.x系列版本的。 这里提供一个我下载的hive版本 阅读全文