摘要: 建了个springboot项目写几个接口,对外提供json格式接口,内部写个页面验证时,发现静态资源404了,好久没写非前后端分离了,故记录一下 thymeleaf: mode: HTML prefix: classpath:/templates/ suffix: .html cache: fals 阅读全文
posted @ 2022-06-14 16:31 Leejk 阅读(273) 评论(0) 推荐(0) 编辑
摘要: Bitmap 实现 用户画像的标签 Bit-map的基本思想就是用一个bit位来标记某个元素对应的Value,而Key即是该元素。由于采用了Bit为单位来存储数据,因此节省存储空间; 如何存储一个数 0表示不存在,1表示存在 例如:存储{1,2,5,6}这四个整型数 Bitmap 去掉重复的整数型 阅读全文
posted @ 2022-05-27 18:04 Leejk 阅读(311) 评论(0) 推荐(0) 编辑
摘要: Hadoop和Spark Spark 基于内存进行数据处理,适合数据量大,对实时性要求不高的场合。 Hadoop 要求每个步骤的数据序列化到磁盘,I/O成本高,导致交互分析迭代算法开销很大。 Hadoop 的MapReduce 表达能力有限,所有计算都要转换成 Map和Reduce两个操作,不能适用 阅读全文
posted @ 2022-05-25 16:45 Leejk 阅读(441) 评论(0) 推荐(0) 编辑
摘要: 数据仓库分层 ODS数据运营层 该层存储进行清洗后的源数据,如MySQL的数据映射到Hive中,装到Hive的数据就是ODS层。源数据装入该数据需要进行筛选,比如源数据有 name = 喻文波,age = - 100岁,该数据属于异常数据,需要处理(剔除)掉。 DW数据仓库层 数据仓库层(DW),是 阅读全文
posted @ 2022-05-24 10:44 Leejk 阅读(340) 评论(0) 推荐(0) 编辑
摘要: 用户画像 在互联网步入大数据时代后,用户行为给企业的产品和服务带来了一系列的改变和重塑,其中最大的变化在于,用户的一切行为在企业面前是可“追溯”“分析”的。企业内保存了大量的原始数据和各种业务数据,这是企业经营活动的真实记录,如何更加有效地利用这些数据进行分析和评估,成为企业基于更大数据量背景的问题 阅读全文
posted @ 2022-05-19 10:07 Leejk 阅读(176) 评论(0) 推荐(0) 编辑
摘要: 记录一次jar包发布到FlinkUI遇到的问题 2022-04-25 15:23:26,457 WARN org.apache.flink.runtime.webmonitor.handlers.JarRunHandler [] - Configuring the job submission vi 阅读全文
posted @ 2022-04-25 15:59 Leejk 阅读(2178) 评论(1) 推荐(0) 编辑
摘要: Controller /** * 回调方法中监控消息是否发送成功 或 失败时做补偿处理 */ @GetMapping("/callback/{message}") public String sendMessageCallback(@PathVariable("message") String ca 阅读全文
posted @ 2022-04-21 15:52 Leejk 阅读(929) 评论(0) 推荐(0) 编辑
摘要: sourceBuilder.query(QueryBuilders.fuzzyQuery("name", "李").fuzziness(Fuzziness.ZERO)); 版本:ElasticSearch7.8 fuzzyQuery 返回包含与搜索字词相似的字词文档: 为了找到相似的术语,fuzzy 阅读全文
posted @ 2022-03-28 17:58 Leejk 阅读(960) 评论(0) 推荐(0) 编辑
摘要: GraphQL API查询语言 SQL是对数据库(服务端)操作的 GraphQL是对API接口(服务端)操作的 SQL 分为服务端和客户端,客户端写SQL操作数据库 GraphQL也分为服务端和客户端,服务端就是提供接口的后端服务,客户端理解为前端——接口调用方 GraphQL可以理解为,客户端操作 阅读全文
posted @ 2022-03-24 12:19 Leejk 阅读(394) 评论(0) 推荐(0) 编辑
摘要: Protobuf协议 RPC步骤 https://www.cnblogs.com/leejk/p/16040419.html 实现RPC调用,需要解决这三个关键问题 1.Call ID映射 远端进程中间可以包含定义的多个函数,本地客户端该如何告知远端进程程序调用特定的某个函数呢?因此,在RPC调用过 阅读全文
posted @ 2022-03-23 17:19 Leejk 阅读(62) 评论(0) 推荐(0) 编辑