摘要： 如果data-form的方式处理post，有点区别，做个记录 public String robotSpeak(String speakMsg) { log.info("机器人语音播报请求:{}", speakMsg); // header HttpHeaders headers = new Htt 阅读全文

摘要： Flink 提供了 Apache Kafka 连接器，用于从 Kafka topic 中读取或者向其中写入数据，可提供精确一次的处理语义。 一：简单使用 1.pom <!--Flink Connector KAFKA--> <dependency> <groupId>org.apache.flink 阅读全文

摘要： 在流式计算中，不是有时候需要和mysql进行结合做一些处理。 1.调用其他方法进行 2.更快的处理 使用guava本地缓存 对msql的操作是new对象过来 private final static RuleService ruleService = new RuleService(); final 阅读全文

摘要： 全量和增量是可以共用的，这种场景还是比较常见的。 例如，分组后，先对每个组进行增量计算，然后对每个增量计算，做一个全窗口的计算。 这个时候，就需要互相结合使用了。 一：窗口函数说明 1：apply与process的区别 apply和process都是处理全量计算，但工作中正常用process。 pr 阅读全文

摘要： 1.查看当前配置 git config --list 2.更新 git config --global remote.origin.url "http://app.jun.com/root/jun-cloud.git" 阅读全文

摘要： 接口太慢，其中一种方式就是使用多线程进行快速处理。 介绍下，如何在项目中写代码的。 这里在for循环里使用调用，不是好方式，碍于接口只支持单个节点的查询。 private List<DeviceInfo> getDeviceByEmissionNoList(Long customerId, List 阅读全文

摘要： 一：简介 Elasticsearch滚动查询也叫游标查询 适合那种需要一次性或分批拉出大量数据做离线处理、迁移等。可以提升点效率。 二：实践中我使用到滚动的场景 需求需要从几个不同的es数据源拉取、截取数据，合到一个新的业务数据源中。 每天夜里有定时任务需要拉取某天的索引数据，根据某个字段去重后拿去 阅读全文

摘要： 在项目中，jestClient还有在使用，RestHighLevelClient没有怎么被使用。现在对其做一个对比，方便技术使用上方便切换。 一：JestClient 1.说明 JestClient是一款基于HTTP实现的ES客户端，在RestHighLevelClient出现之前，它填补了ES缺少 阅读全文

摘要： 1.springboot之间传递dto 在上一个feign中写入注解 @GetMapping("/operationDevice/queryOperationDevices") public List<OperationDevice> queryOperationDevices(@SpringQue 阅读全文

摘要： 之前已经完成hbase的搭建了，现在在之前的基础上搭建opentsdb。 1.网站 下载tag.gz的包，链接：https://github.com/OpenTSDB/opentsdb/releases 2.官网文档 http://opentsdb.net/ 参考安装文档：http://opents 阅读全文

摘要： 一：介绍 1.定义 Spring Security是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框 架。Spring Security 主要实现了Authentication（认证，解决who are you? ） 和 Access Control（访问控制，也就是 阅读全文

摘要： 一：索引理解 1.索引的本质 是帮助MySQL高效获取数据的排好序的数据结构 2.索引数据结构 二叉树 红黑树 Hash表 B-Tree 二叉树深度太深，红黑树也没有完全解决这个问题 3.hash存在的问题 对索引的key进行一次hash计算就可以定位出数据存储的位置 很多时候Hash索引要比B+ 阅读全文

摘要： 之前的版本有点老，代码已经不适合了。这里使用比较新的环境进行搭建。 一：版本 1.版本 hadoop使用版本：Hadoop采用3.2.3 zookeeper使用版本：载zookeeper3.5.10版本(zookeeper版本不能低于3.4.x) 以到 https://hbase.apache.or 阅读全文

摘要： 一：图数据库的概述 1.什么是图数据库 图数据库是基于图论实现的一种NoSQL数据库，其数据存储结构和数据查询方式都是以图论为基础的， 图数据库主要用于存储更多的连接数据。 像这样，这些应用程序包含大量的结构化，半结构化和非结构化的连接数据。 2.什么是neo4j Neo4j是一个开源的NoSQL图 阅读全文

摘要： 一：建立索引 请求方式：put 请求url： 127.0.0.1:9200/rain_run_index 请求体： { "mappings":{ "properties":{ "deviceNo":{ "type":"text", "fields":{ "keyword":{ "type":"key 阅读全文

摘要： 一：海量数据下Mysql架构演变升级+分库分表优缺点 1.面试题 这边有个数据库-单表1千万数据，未来1年还会增⻓多 500万，性能⽐较慢，说下你的优化思路 思路 千万不要一上来就说分库分表，这个是最忌讳的事项 一定要根据实际情况分析，两个角度思考 不分库分表 软优化 数据库参数调优 分析慢查询SQ 阅读全文

摘要： 一：JVM 1.Jvm对象进入老年代的场景 1、大对象直接进入老年代 大对象就是需要大量连续内存空间的对象（比如：字符串、数组）。JVM参数 XX:PretenureSizeThreshold 可以设置大 对象的大小，如果对象超过设置大小会直接进入老年 代，不会进入年轻代，这个参数只在 Serial 阅读全文

摘要： 一：为什么使用flink 1.jdk实现流式处理 package net.xdclass.app; import net.xdclass.model.VideoOrder; import java.util.Arrays; import java.util.List; import java.uti 阅读全文

摘要： 一：启动 bat文件 @echo off start javaw -jar access-forwarding-service.jar exit 二：关闭 bar文件 通过端口杀进程 @echo off set port=9510 echo port : %port% for /f "useback 阅读全文

摘要： 载入门之后，更多的细节进行整理。 载入门之后，更多的细节进行整理。 一：序列化 1.顺序 进入：从上到下，走inbound 出站：从下往上，走outbound 2.String序列化 客户端往服务端发送string，然后服务端进行解码出来 NettyServer： package com.jun.n 阅读全文