摘要: 路由 当你索引一个文档,它被存储在单独一个主分片上。Elasticsearch 是如何知道文档属于哪个分片的呢?当你创建一个新文档,它是如何知道是应该存储在分片 1 还是分片 2 上的呢? 进程不能是随机的,因为我们将来要检索文档。 算法决定: shard = hash(routing) % num 阅读全文
posted @ 2019-11-19 08:38 玩转大数据 阅读(1440) 评论(0) 推荐(0) 编辑
摘要: 1.具体的shell命令用法可以通过help或man命令进入手册来查询其具体的用法。2.终端本质上对应着linux上的/dev/tty设备,linux的多用户登录就是通过不同的/dev/tty设备完成的,linux默认提供了6个纯命令行界面的’‘terminal’’(准确的说这里应该是6个虚拟控制台 阅读全文
posted @ 2019-11-18 21:44 玩转大数据 阅读(1680) 评论(0) 推荐(0) 编辑
摘要: 相关性算分 指文档与查询语句间的相关度,通过倒排索引可以获取与查询语句相匹配的文档列表 如何将最符合用户查询需求的文档放到前列呢? 本质问题是一个排序的问题,排序的依据是相关性算分,确定倒排索引哪个文档排在前面 影响相关度算分的参数: A. TF(Term Frequency):词频,即单词在文档中 阅读全文
posted @ 2019-11-18 21:22 玩转大数据 阅读(699) 评论(0) 推荐(0) 编辑
摘要: https://blog.csdn.net/qq_36743482/article/details/78383964 阅读全文
posted @ 2019-11-18 20:00 玩转大数据 阅读(2695) 评论(0) 推荐(0) 编辑
摘要: 常见端口汇总:Hadoop: 50070:HDFS WEB UI端口 8020 : 高可用的HDFS RPC端口 9000 : 非高可用的HDFS RPC端口 8088 : Yarn 的WEB UI 接口 8485 : JournalNode 的RPC端口 8019 : ZKFC端口 19888:j 阅读全文
posted @ 2019-11-18 19:35 玩转大数据 阅读(640) 评论(0) 推荐(0) 编辑
摘要: FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是fi 阅读全文
posted @ 2019-11-18 19:20 玩转大数据 阅读(928) 评论(0) 推荐(0) 编辑
摘要: 1、上传 解压 2、配置环境变量 export ZOOKEEPER_HOME=/root/Downloads/zookeeper-3.4.5 export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/sbin 3、在zk下创建data文件 创建dat 阅读全文
posted @ 2019-11-17 21:07 玩转大数据 阅读(104) 评论(0) 推荐(0) 编辑
摘要: 1,sleep方法是Thread类的静态方法,wait()是Object超类的成员方法 2,sleep()方法导致了程序暂停执行指定的时间,让出cpu该其他线程,但是他的监控状态依然保持者,当指定的时间到了又会自动恢复运行状态。在调用sleep()方法的过程中,线程不会释放对象锁。 而当调用wait 阅读全文
posted @ 2019-11-12 19:50 玩转大数据 阅读(494) 评论(0) 推荐(0) 编辑
摘要: 1、wait()、notify/notifyAll() 方法是Object的本地final方法,无法被重写。 2、wait()使当前线程阻塞,前提是 必须先获得锁,一般配合synchronized 关键字使用,即,一般在synchronized 同步代码块里使用 wait()、notify/noti 阅读全文
posted @ 2019-11-12 19:44 玩转大数据 阅读(1816) 评论(0) 推荐(0) 编辑
摘要: 1、Partitioner 组件通过让 Map 对 Key 进行分区,从而将不同分区的 Key 交由不同的 Reduce 处理。Partition属于map端 2、分区的总数与任务的reduce任务数相同 partitioner定义: partitioner的作用是将mapper 输出的key/va 阅读全文
posted @ 2019-11-12 19:32 玩转大数据 阅读(1308) 评论(0) 推荐(0) 编辑