08 2020 档案
摘要：1、mysql数据库格式 2、es的安装，可以看我以前的步骤 3、下载Datax wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 4、由于Datax默认没有elasticsearchwriter，所以需要自
阅读全文
摘要：1、pom.xml <build> <pluginManagement> <plugins> <!-- 编译scala的插件 --> <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala-maven-plugin</arti
阅读全文
摘要：1、sql语句优化 可以查看牛人博客:https://www.cnblogs.com/linyue09/p/9869163.html 2、mysql性能查看 1、查看 profile 开启情况 select @@profiling; 开启profile：set profiling = 1; 2、查看
阅读全文
摘要：geoDistanceRangeQuery 圆形查询 geoBoundingBoxQuery 矩形查询 geoPolygonQuery 多边形查询 1、创建mapping //https://blog.csdn.net/wuzhiwei549/article/details/80537753 @Te
阅读全文
摘要：1、AdminAPI.java package es; import org.elasticsearch.action.admin.indices.create.CreateIndexRequestBuilder; import org.elasticsearch.client.AdminClien
阅读全文
摘要：1、es是基于lucene开发的一个分布式全文索引框架。往ES中存储和从ES中查询，格式为Json 索引：Index 相当于数据库中的database 类型：type 相当于数据库中的table 主键：id 相当于数据库中的主键 往ES中存储数据，其实就是往ES中的index下的type存储Json
阅读全文
摘要：1、当单台ES的status为yellowd的时候 curl -XPUT "http://localhost:9200/_settings" -d '{ "number_of_replicas" : 0 }' 记住：这个是将副本碎片删了，但是也会导致这台机器脱离集群，等这台机器status为gree
阅读全文
摘要：1、并集: a和b所有元素的集合 -- 全连接 并集: a和b所有元素的集合 SELECT a.id id , a.user_name ausername, a.score ascore , b.user_name busername ,b.score bscore FROM cj a LEFT J
阅读全文
摘要：1、隐式方法 package base /** * @author yangwj * @date 2020/8/7 17:41 */ object ImplicitDemo { // implicit class Caculate(x:Int) { // // def add(y:Int):Int=
阅读全文
摘要：1、查看sql插件github https://github.com/NLPchina/elasticsearch-sql 2、安装 1、cd elasticsearch #进入目录 2、./bin/elasticsearch-plugin install https://github.com/NL
阅读全文
摘要：1、下载分词器包 https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v5.4.3 2、将分词器解压并放入plugins目录下。（一定要在plugins下面创建一个ik文件，然后将解压的elasticsearch-analy
阅读全文
摘要：1、更新centos7的库 sudo yum update -y 2、安装一系列文件(已安装可以不安装) sudo rpm -ivh http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm sudo rpm -ivh
阅读全文
摘要：1、es是基于lucene开发的一个分布式全文索引框架。往ES中存储和从ES中查询，格式为Json 索引：Index 相当于数据库中的database类型：type 相当于数据库中的table主键：id 相当于数据库中的主键往ES中存储数据，其实就是往ES中的index下的type存储Json数据R
阅读全文
摘要：前提:安装了JDK1.8 1、准备三台机器 hadoop100 192.168.33.100 hadoop101 192.168.33.101 hadoop102 192.168.33.102 2、准备一个非root账户（一定要使用非root用户，不然es启动不起来） 3、将elasticsearc
阅读全文
摘要：关键词:上界、视图界定、Comparable、Ordered 1、ScalaUpperBound.scala package study.scala.base /** * @author yangwj * @date 2020/8/8 21:20 * @version 1.0 */ //上界，不会发
阅读全文
摘要：注意：两者默认都是升序1、实现Comparable，重写compareTo()方法 2、new Comparator，重写compare()方法 1、案例如下 package study.scala.base; import java.util.ArrayList; import java.util
阅读全文
摘要：1、JedisConnectionPool.scala package sparkstreaming import redis.clients.jedis.{Jedis, JedisPool, JedisPoolConfig} object JedisConnectionPool{ val conf
阅读全文
摘要：前提：启动zookeeper和kafka，创建topic为wc 1、MysqlConnectPool.scala package sparkstreaming import java.sql.{Connection, DriverManager, ResultSet, Statement} impo
阅读全文
摘要：1、pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-inst
阅读全文
