2023年9月3日
大数据开发-解决Windows下，开发环境常遇的几个问题
摘要： # 发士大夫 # 大数据开发-解决Windows下，开发环境常遇的几个问题 # 1.背景 大数据开发的测试环境，很多人不以为然，其实重复的打包，上传，测试虽然每次时间大概也就几分钟，但是积累起了往往会花费很多的时间，但是一个完整的测试环境在生产环境下往往难形成闭环，抛开堡垒机权限不说，hadoop， 阅读全文
posted @ 2023-09-03 19:03 Hoult丶吴邪 阅读(21) 评论(0) 推荐(0) 编辑
大数据开发-从Scala到Akka并发编程_jDW32G3c87fjEBtYNE7Z7f
摘要： # 大数据开发-从Scala到Akka并发编程 # 大数据开发-从Scala到Akka并发编程 [4-1 Scala作业.pdf](file/4-1 Scala作业_UVqqJLwoIp.pdf) # 1.递归实现瓶盖，瓶子换酒瓶的算法 ## 1.1 需求描述 每瓶啤酒2元，3个空酒瓶或者5个瓶盖可 阅读全文
posted @ 2023-09-03 18:57 Hoult丶吴邪 阅读(7) 评论(0) 推荐(0) 编辑
大数据实战-Hive-技巧实战_2LgaeiFwLs7mCTwG5T3c9M
摘要： # 大数据实战-Hive-技巧实战_2LgaeiFwLs7mCTwG5T3c9M # 大数据实战-Hive-技巧实战 # 1.union 和 union all - 前者可以去重 ```sql select sex,address from test where dt='20210218' unio 阅读全文
posted @ 2023-09-03 18:31 Hoult丶吴邪 阅读(13) 评论(0) 推荐(0) 编辑
使用Nginx做页面采集, Kafka收集到对应Topic_6XwWe5qWHGM2PojVPUSejM
摘要： # 使用Nginx做页面采集, Kafka收集到对应Topic_6XwWe5qWHGM2PojVPUSejM # 使用Nginx做页面采集, Kafka收集到对应Topic # 0.架构简介 模拟线上的实时流，比如用户的操作日志，采集到数据后，进行处理，暂时只考虑数据的采集，使用`Html+Jque 阅读全文
posted @ 2023-09-03 18:28 Hoult丶吴邪 阅读(4) 评论(0) 推荐(0) 编辑
2021年8月8日
大数据开发-Go-新手常遇问题
摘要： 真正在工作中用Go的时间不久，所以也作为新手，总结了一些常见的问题和坑 Go 中指针使用注意点 // 1.空指针反向引用不合法 package main func main() { var p *int = nil *p = 0 } // in Windows: stops only with: < 阅读全文
posted @ 2021-08-08 14:09 Hoult丶吴邪 阅读(169) 评论(0) 推荐(0) 编辑
基于vue(element ui) + ssm + shiro 的权限框架
摘要： 基于vue(element ui) + ssm + shiro 的权限框架。 领悟，理解，消化它！ 引言 心声 现在的Java世界，各种资源很丰富，不得不说，从分布式，服务化，orm,再到前端控制，权限等等玲琅满目，网上有句话说，语言框架迭代太快了，我学不动了，不如回去搬砖吧，可是天这么热，砖烫手啊 阅读全文
posted @ 2021-08-08 12:57 Hoult丶吴邪 阅读(508) 评论(0) 推荐(0) 编辑
大数据开发-Go-数组，切片
摘要： new()和make的区别 二者看起来没什么区别，但是他们的行为不同，分别适用于不同的类型 new (T) 为每个新的类型 T 分配一片内存，初始化为 0 并且返回类型为 * T 的内存地址：这种方法 返回一个指向类型为 T，值为 0 的地址的指针，它适用于值类型如数组和结构体；它相当于 &T{}。 阅读全文
posted @ 2021-08-08 10:26 Hoult丶吴邪 阅读(197) 评论(0) 推荐(0) 编辑
2021年5月31日
大数据开发-Flink-窗口全解析
摘要： Flink窗口背景 Flink认为Batch是Streaming的一个特例，因此Flink底层引擎是一个流式引擎，在上面实现了流处理和批处理。而Window就是从Streaming到Batch的桥梁。通俗讲，Window是用来对一个无限的流设置一个有限的集合，从而在有界的数据集上进行操作的一种机制。 阅读全文
posted @ 2021-05-31 00:35 Hoult丶吴邪 阅读(680) 评论(0) 推荐(2) 编辑
2021年5月22日
大数据开发-Flink-1.13新特性
摘要： 介绍 大概4月，Flink1.13就发布了，参加 了Flink1.13 的Meetup，收获还是挺多，从大的方面讲就是FlingSql的改进和优化，资源调度管理方面的优化，以及流批一体Flink在运行时与DataStream API的优化，另外就是State backend 模块的优化，本篇文章既是 阅读全文
posted @ 2021-05-22 23:40 Hoult丶吴邪 阅读(1368) 评论(0) 推荐(0) 编辑
2021年5月12日
大数据开发-Flink-数据流DataStream和DataSet
摘要： Flink主要用来处理数据流，所以从抽象上来看就是对数据流的处理，正如前面大数据开发-Flink-体系结构 && 运行架构提到写Flink程序实际上就是在写DataSource、Transformation、Sink. DataSource是程序的数据源输入，可以通过StreamExecutionE 阅读全文
posted @ 2021-05-12 00:47 Hoult丶吴邪 阅读(1054) 评论(2) 推荐(0) 编辑
下一页