随笔分类 - Java
摘要：Jenkins Pipeline（或简称为 "Pipeline"）是一套插件，将持续交付的实现和实施集成到 Jenkins 中。 持续交付 Pipeline 自动化的表达了这样一种流程：将基于版本控制管理的软件持续的交付到您的用户和消费者手中。 Jenkins Pipeline 提供了一套可扩展的工
阅读全文
摘要：maven其实是有一个默认的仓库.m2仓库和默认的settings.xml配置文件，我们在这个默认的settings.xml文件中也添加了一个JAVA8_HOME的变量后，编译就通过了，这就说明，maven编译的时候找的不是我在idea中配置的我自定义的settings.xml，而是先找的它默认的那
阅读全文
摘要：https://github.com/zhanglangJD/flinkJavaDemo 在跑flink demo 时出错，最后发现时缺少了插件。 安装插件，重启，重新打开项目，报错消失； 首先解释一下为什么要安装Lombok插件–为什么呢？ 因为在idea导入项目的时候，你会看见，卧槽，都是错误，
阅读全文
摘要：1、Preferences --System Settings -- 勾选 open project in new window 然后OK 之后在file open 找到对应的项目，打开即可 注意等依赖自动下载完之后，代码也就跟着出现了
阅读全文
摘要：http://www.cnblogs.com/wxd0108/p/5295017.html Mac键盘符号和修饰键说明 ⌘ Command ⇧ Shift ⌥ Option ⌃ Control ↩︎ Return/Enter ⌫ Delete ⌦ 向前删除键（Fn+Delete） ↑ 上箭头 ↓ 下
阅读全文
摘要：http://www.louisvv.com/archives/2110.html https://www.jianshu.com/p/68916106c73b Macbook pro maven 环境及Flink 环境搭建 MAC上安装maven以及配置Intellij IDEA https://
阅读全文
摘要：Mac下默认是没有安装java运行环境的 运行java -version命令，查看有没有装java环境，如果显示如下图。那么就说明没有安装 1.下载jdk https://www.oracle.com/technetwork/java/javase/downloads/jdk11-downloads
阅读全文
摘要：第一步：下载idea，https://www.jetbrains.com/idea/download/#section=windows，双击进行安装 第二步：下载破解的jar包：链接：https://pan.baidu.com/s/1lwgs76odfPWkjHzIxio4dQ 提取码：1zw1 第
阅读全文
摘要：TP=Top Percentile，Top百分数，是一个统计学里的术语，与平均数、中位数都是一类。TP50、TP90和TP99等指标常用于系统性能监控场景，指高于50%、90%、99%等百分线的情况。首先给出Google到的答案：The tp90 is a minimum time under wh
阅读全文
摘要：如何解决消息队列的延时以及过期失效问题？消息队列满了以后该怎么处理？ 思考 解决思路 由于有的消息队列有过期失效的机制，造成了大量的消息丢失。这种情况只能将丢失的那批数据，写个临时程序，一点一点的查出来，然后重新灌入mq里面去。 大量消息在mq里积压了几个小时了还没解决 几千万条数据在MQ里积压了七
阅读全文
摘要：前面 FLink 的文章中我们已经介绍了说 Flink 已经有很多自带的 Connector。 1、《从0到1学习Flink》—— Data Source 介绍 2、《从0到1学习Flink》—— Data Sink 介绍 其中包括了 Source 和 Sink 的，后面我也讲了下如何自定义自己的
阅读全文
摘要：Data Sources 是什么呢？就字面意思其实就可以知道：数据来源。 Flink 做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集； 也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink 就能够一直计算下去，这个 Data
阅读全文
摘要：首先 Sink 的中文释义为： 所以，对应 Data sink 意思有点把数据存储下来（落库）的意思； Source 数据源 > Compute 计算 > sink 落库 如上图，Source 就是数据的来源，中间的 Compute 其实就是 Flink 干的事情，可以做一系列的操作，操作完后就把计
阅读全文
摘要：参考原博客： https://blog.csdn.net/weixin_44516305/article/details/90258883 1 需求分析 使用Flink对实时数据流进行实时处理，并将处理后的结果保存到Elasticsearch中，在Elasticsearch中使用IK Analyze
阅读全文
摘要：问题： 之前用 list!=null 来判断list是否为空，但发现，定义一个list后，即使里面并没有加入任何元素，返回的结果仍旧是 true， 其实，本意是希望在没有任何元素时，返回 false，下面是关于判断逻辑的详细解析： 1、如果想判断list是否为空，可以这么判断： if(list ==
阅读全文
摘要：建议参考SparkSQL官方文档：http://spark.apache.org/docs/latest/sql-programming-guide.html 一、前述 1、SparkSQL介绍 Hive是Shark的前身，Shark是SparkSQL的前身,SparkSQL产生的根本原因是其完全脱
阅读全文
摘要：RDD 介绍 RDD，全称Resilient Distributed Datasets（弹性分布式数据集），是Spark最为核心的概念，是Spark对数据的抽象。 RDD是分布式的元素集合，每个RDD只支持读操作，且每个RDD都被分为多个分区存储到集群的不同节点上。除此之外，RDD还允许用户显示的指
阅读全文
摘要：1.RDD介绍： RDD，弹性分布式数据集，即分布式的元素集合。在spark中，对所有数据的操作不外乎是创建RDD、转化已有的RDD以及调用RDD操作进行求值。在这一切的背后，Spark会自动将RDD中的数据分发到集群中，并将操作并行化。 Spark中的RDD就是一个不可变的分布式对象集合。每个RD
阅读全文
摘要：List to Array List 提供了toArray的接口，所以可以直接调用转为object型数组 上述方法存在强制转换时会抛异常，下面此种方式更推荐：可以指定类型 Array to List 最简单的方法似乎是这样 解决方案： 1、运用ArrayList的构造方法是目前来说最完美的作法，代码
阅读全文
摘要：类库选择 Java中并没有内置JSON的解析，因此使用JSON需要借助第三方类库。 下面是几个常用的 JSON 解析类库： Gson: 谷歌开发的 JSON 库，功能十分全面。 FastJson: 阿里巴巴开发的 JSON 库，性能十分优秀。 Jackson: 社区十分活跃且更新速度很快。 以下教程
阅读全文
