11 2020 档案
摘要：G,M,K,B,都是数据或数据流量的单位符号. 其中B是字节的符号,字节是数据或数据流量的基本单位. K是KB的简称 1 KB =1024 B 1 MB =1024 KB 1 GB =1024 MB
阅读全文
摘要：字段的 doc_values 属性有两个值， true、false。默认为 true ，即开启。 当 doc_values 为 fasle 时，无法基于该字段排序、聚合、在脚本中访问字段值。 当 doc_values 为 true 时，ES 会增加一个相应的正排索引，这增加的磁盘占用，也会导致索引数
阅读全文
摘要：Elastic 默认是区分大小写查询的，比如： { "foo": "BÀR" } 查询的时候 通过“bar”是查询不到的，需要在 "settings": { "analysis": { "normalizer": { "my_normalizer": { "type": "custom", "fil
阅读全文
摘要：mysql表中添加唯一约束 在做权限系统中，有一张表叫用户角色关系表(user_role_relation),这张表中有user_id 和role_id(建表语句如下)。 CREATE TABLE upms.`user_role_relation` ( `user_role_id` varchar(
阅读全文
摘要：term用法 先看看term的定义，term是代表完全匹配，也就是精确查询，搜索前不会再对搜索词进行分词拆解。 这里通过例子来说明，先存放一些数据： { "title": "love China", "content": "people very love China", "tags": ["Chi
阅读全文
摘要：1.主键的作用 主键是能确定一条记录的唯一标识，主键字段必须唯一，必须非空，一个表中只能有一个主键，主键可以包含一个或多个字段。打个比方，一条记录包括身份正号，姓名，年龄，学校，国籍，性别等。身份证号是唯一能确定你这个人的，其他都可能有重复，所以，身份证号是主键。 2.外键的作用 外键表示了两个关系
阅读全文
摘要：TCP/HTTP与socket 首先回顾下计算机网络的五(七)层协议：物理层、数据链路层、网络层、传输层、(会话层、表示层)和应用层。那么从协议上来讲： TCP是传输层协议，主要解决数据如何在网络中传输 HTTP 是应用层协议，主要解决如何包装数据（文本信息），是建立在tcp协议之上的应用。TCP协
阅读全文
摘要：Elasticsearch(ES)有两种连接方式：TransportClient、RestClient。TransportClient通过TCP方式访问ES(只支持java),RestClient方式通过http API 访问ES(没有语言限制)。 Elasticsearch计划在Elasticse
阅读全文
摘要：概念 二进制数据类型。该binary类型接受二进制值作为 Base64编码的字符串。该字段默认情况下不存储，并且不可搜索。 该类型的字段可以作为对es的补充了解，实际开发中使用的较少。 示例使用 1、映射定义 PUT example PUT example/docs/_mapping { "prop
阅读全文
摘要：https://blog.csdn.net/u013985664/article/details/79032364
阅读全文
摘要：https://www.cnblogs.com/beginner-boy/p/7653147.html
阅读全文
摘要：10.hive调优 10.1 Fetch抓取 Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM score;在这种情况下，Hive可以简单地读取score对应的存储目录下的文件，然后输出查询结果到控制台。通过设置hive.fetch.task.conve
阅读全文
摘要：7.hive的数据压缩 在实际工作当中，hive当中处理的数据，一般都需要经过压缩，前期我们在学习hadoop的时候，已经配置过hadoop的压缩，我们这里的hive也是一样的可以使用压缩来节省我们的MR处理的网络带宽 7.1 MR支持的压缩编码 压缩格式工具算法文件扩展名是否可切分 DEFAULT
阅读全文
摘要：4. Hive 查询语法 4.1. SELECT SELECT [ALL | DISTINCT] select_expr, select_expr, ...FROM table_reference[WHERE where_condition][GROUP BY col_list [HAVING co
阅读全文
摘要：这里我们选用hive的版本是2.1.1 下载地址为： http://archive.apache.org/dist/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz 下载之后，将我们的安装包上传到第三台机器的/export/softwares目录下面去 第一步
阅读全文
摘要：2.1. Hive 简介 什么是 Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，说白了hive可以理解为一个将SQL转换为MapRed
阅读全文
摘要：问题一: WARN TaskSetManager: Lost task 5.0 in stage 5.0 (TID 265, hdp01.test.com, executor 1): org.elasticsearch.hadoop.rest.EsHadoopInvalidRequest: Foun
阅读全文
