唐钰逍遥

摘要： 需求 spark scala 程序 读取hive数据，sparksql解析 然后分批写入redis 原则： 一、尽可能少和redis交互，减少redis写入压力。 二、可以考虑pipeline的操作习惯。 三、不要一个partition只提交一个pipeline 网络传输压力大 内存消耗高 Redi 阅读全文

摘要： kafka offset 过期处理策略 现象： User class threw exception: org.apache.spark.SparkException: Job aborted due to stage failure: Task 2 in stage 0.0 failed 4 ti 阅读全文

摘要： 假设我们希望实现以下需求： 支付方式（如支付宝、微信支付）可以动态切换。 支付方式配置从配置文件中加载，或者支持在数据库中动态更新。 配置文件或数据库中指定当前生效的支付方式。 步骤 1: 配置文件定义支付方式 我们可以在 application.yml 或 application.properti 阅读全文

摘要： 在处理Spark Streaming中的背压（Backpressure）问题时，综合考虑提升数据消费速度与应对下游消费能力上限是至关重要的。以下内容将详细介绍背压的原理、应对策略以及具体的调优参数配置，帮助您有效缓解背压问题，提升Spark Streaming应用的性能和稳定性。 一、背压（Back 阅读全文

摘要： 在使用 Apache Spark 和 Scala 进行开发时，合理的日志管理是确保应用程序可维护性和可调试性的关键。以下是一些最佳日志实践，帮助你有效地管理和优化 Spark 应用程序的日志记录。 1. 使用合适的日志库 首选的日志库是 SLF4J（Simple Logging Facade for 阅读全文

摘要： 用途 用于渲染需要多次重复的sql以及程序代码，相比较于mybatis组装模块，这种方式更灵活，可以用于组件其他的数据库、脚本语言脚本。 入门示例 取自文件 import com.jfinal.template.Engine; import com.jfinal.template.Template; 阅读全文

摘要： MapReduce record reader读取到输入文件根据指定FileInputFormat格式解析内容并组织输入的(k,v),不同的输入文件的Key代表的含义不一样好比text的hdfs文件key表示的物理文件的字符偏移量，然后对(k,v)进行自定义的map逻辑处理处理完成后交给collec 阅读全文

摘要： 原理篇 LLM模型，学术意义上这个大体现在供给给模型的训练样本很大，对我们使用者来说我们可以认为他海纳百川，有容乃大。学的足够多， 博学。所以你要跟它对话，需要先告诉它你充当的角色是谁，也就是你要获得知识的来源。 LangChain可以标准化和抽象化整个大语言模型使用过程。 文本加载 从各种数据源中 阅读全文

摘要： flink入门程序 生成项目 mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-java -DarchetypeVersion=1.16.4 wordco 阅读全文

摘要： 程序计数器 保留jvm线程切换时，字节码行号数据。 因为Java的多线程也是依靠时间片轮转算法进行的，因此一个CPU同一时间也只会处理一个线程，当某个线程的时间片消耗完成后，会自动切换到下一个线程继续执行，而当前线程的执行位置会被保存到当前线程的程序计数器中，当下次轮转到此线程时，又继续根据之前的执 阅读全文