摘要： 原创/朱季谦 一、案例说明 以前刚开始学习Spark的时候，在练习排序算子sortBy的时候，曾发现一个有趣的现象是，在使用排序算子sortBy后直接打印的话，发现打印的结果是乱序的，并没有出现完整排序。 例如，有一个包含多个（姓名，金额）结构的List数据，将这些数据按照金额降序排序时，代码及打印 阅读全文

摘要： 原创/朱季谦 第一次写这么长的graphx源码解读，还是比较晦涩，有较多不足之处，争取改进。 按照官网的介绍，NebulaGraph Algorithm是一款基于GraphX 的 Spark 应用程序，通过提交 Spark 任务的形式，使用完整的算法工具对 NebulaGraph 数据库中的数据执行 阅读全文

摘要： 一、场景案例 在一张社区网络里，可能需要查询出各个顶点邻接关联的顶点集合，类似查询某个人关系比较近的都有哪些人的场景。 在用Spark graphx中，通过函数collectNeighbors便可以获取到源顶点邻接顶点的数据。 下面以一个例子来说明，首先，先基于顶点集和边来创建一个Graph图。 该 阅读全文

摘要： 原创/朱季谦 RDD（弹性分布式数据集）中的数据就如final定义一般，只可读而无法修改，若要对RDD进行转换或操作，那就需要创建一个新的RDD来保存结果。故而就需要用到转换和行动的算子。 Spark运行是惰性的，在RDD转换阶段，只会记录该转换逻辑而不会执行，只有在遇到行动算子时，才会触发真正的运 阅读全文

摘要： 总结/朱季谦 一、出现java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.()V from class org.apache.hadoop.hbase.zookeeper.Meta 阅读全文

摘要： 总结/朱季谦 最近通过Vue + Element ui实现了动态表单功能，该功能还包括了动态表单新增行、删除行、动态表单验证、动态表单提交功能，趁热打铁，将开发心得记录下来，方便以后再遇到类似功能时，直接拿来应用。 简化的页面效果图如下： ![image](https://img2023.cnblo 阅读全文

摘要： 文/朱季谦 假如有这样一个需求，每天需要读取以下表头的Excel文件，统计文件里击中黑名单的比例，该文件is_blacklist列的1表示击中了黑名单，0表示未击中黑名单。 ![image](https://img2023.cnblogs.com/blog/1545382/202305/154538 阅读全文

摘要： 总结/朱季谦 趁着这周末空闲时间，在研读完OpenAi官网文档的基础上，及时总结了这篇《ChatGPT API接口编程基础与使用技巧》。 本文大部分内容是围绕编程方面，包括ChatGPT模型接口、图像生成接口、敏感数据拦截等，只有一小部分内容围绕如何通过temperature调参优化使用提示技巧。 阅读全文

摘要： 结合chatGPT和MINDSHOW自动生成PPT应用场景 总结/朱季谦 一、首先，通过chatGPT说明你的需求，学会提问是Ai时代最关键的一步。你需要提供一些关键信息，如果没有关键信息，就按照大纲方式让它设计，例如，我让它帮我写一份《2023年年中述职报告》的模版—— 二、通过提示，让它帮生成m 阅读全文

摘要： 本文主要基于实际项目常用的Stream Api流式处理总结。 因笔者主要从事风控反欺诈相关工作，故而此文使用比较熟悉的三要素之一的**【手机号】黑名单**作代码案例说明。 我在项目当中，很早就开始使用Java 8的流特性进行开发了，但是一直都没有针对这块进行开发总结。这次就对这一块代码知识做一次全面 阅读全文