06 2024 档案

摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(正在更新) 章节内容 上一节完成: HOSTS 配置(非常重要!坑多!)ROOT权限开启(重要)SSH KEY 生成SSH 三台云服务器 免登陆分发脚本编写和测试 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一 阅读全文
posted @ 2024-06-30 11:00 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(正在更新) 章节内容 上一节完成: HDFS集群XML的配置MapReduce集群XML的配置Yarn集群XML的配置统一权限DNS统一配置 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环 阅读全文
posted @ 2024-06-30 09:49 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(正在更新) 章节内容 上一节完成了: Java的环境配置Hadoop环境配置 顺利完成了基础环境的配置,但是对于Hadoop来说,目前还有一些XML的配置需要我们修改,这样后续才能组装成集群来运行。 接下来我们就进行一些 阅读全文
posted @ 2024-06-28 09:37 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(正在更新) 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在公网上搭建体验一下 阅读全文
posted @ 2024-06-28 09:05 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:背景描述 介绍Embedding Text Embedding在大模型中的应用是一个重要的技术,它涉及到将高维度的数据(如文本)映射到低维度空间的过程。这一过程不仅有助于减少数据处理的复杂性,还能够捕捉和表达数据的语义信息。在自然语言处理(NLP)和机器学习领域,Text Embedding是实现文 阅读全文
posted @ 2024-06-27 11:41 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:代码仓库 会同步代码到 GitHub https://github.com/turbo-duck/flink-demo 背景介绍 单机模式 在之前的章节中,已经验证过,但是实际运行的时候,我们是需要提交到服务器去运行的。 集群模式 在之前章节中,已经验证过,(方便测试) 使用了 Docker 的方式 阅读全文
posted @ 2024-06-27 09:36 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:代码仓库 会同步代码到 GitHub https://github.com/turbo-duck/flink-demo 本节内容 在学习和测试阶段,需要快速启动一套Flink供我们学习测试。使用常规的安装的方式太费劲了,利用Docker可以快速启动一套完整的系统,方便我们的进行测试! 这里放一些我平 阅读全文
posted @ 2024-06-26 09:22 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:代码仓库 会同步代码到 GitHub https://github.com/turbo-duck/flink-demo 上节进度 上节完成了 滚动窗口 时间驱动 TumblingWindow TimeWindowFunction。 本节和上节内容相似,但是上节是:TimeWindow时间驱动,本节是 阅读全文
posted @ 2024-06-26 08:54 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:代码仓库 会同步代码到 GitHub https://github.com/turbo-duck/flink-demo 上节进度 上节完成了 SlideWindow 时间窗口中的 时间驱动 和 事件驱动 核心代码 / 时间驱动 WindowedStream<Tuple2<String, Intege 阅读全文
posted @ 2024-06-26 08:54 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:问题背景 平常我们设计程序的时候,会这么写: // 随便举例 String type = paramDTO.getType(); if (type.equals("吃饭")) { // do } else if (type.equals("喝水")) { // do } else { // do } 阅读全文
posted @ 2024-06-25 13:15 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:代码仓库 会同步代码到 GitHub https://github.com/turbo-duck/flink-demo 上节进度 上一节,已经实现了 Flink + Kafka + Redis 的相关配置和代码。 Kakfa Redis In Docker KafkaProducer StartAp 阅读全文
posted @ 2024-06-25 09:29 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:代码仓库 会同步代码到 GitHub https://github.com/turbo-duck/flink-demo 内容介绍 上节我们已经实现了,对Kafka数据的消费和计算,最终把结果输出到了控制台上。如下图: Kafka In Docker TestKafkaProducer 将数据写入到K 阅读全文
posted @ 2024-06-24 08:59 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:代码仓库 会同步代码到 GitHub https://github.com/turbo-duck/flink-demo pom.xml 修改pom.xml,需要加入 kafka相关的包,和适配器。 <?xml version="1.0" encoding="UTF-8"?> <project xml 阅读全文
posted @ 2024-06-23 09:37 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:背景描述 可以将问答的内容缓存起来,如果是相同的问题,那么将会直接把答案返回去,可以节约费用和计算。 安装依赖 pip install -qU langchain-core langchain-openai 编写代码 我们可以通过 InMemoryCache 进行内存缓存 或者 SQLiteCach 阅读全文
posted @ 2024-06-22 14:26 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:代码仓库 会同步代码到 GitHub https://github.com/turbo-duck/flink-demo 基本介绍 Flink介绍 Apache Flink 是一个开源的流处理框架,旨在处理批处理和实时数据处理,具有高吞吐量和低延迟的特点。由 Apache 软件基金会开发,Flink 阅读全文
posted @ 2024-06-22 09:23 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:代码仓库 代码我已经上传到 Github,大家需要的可以顺手点个 Star! https://github.com/turbo-duck/biquge_fiction_spider 背景介绍 上一节已经拿到了 小说的详细内容 和 章节的列表 接下来,将章节的列表使用脚本从SQLite数据库中取出,使 阅读全文
posted @ 2024-06-21 09:27 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:代码仓库 代码我已经上传到 Github,大家需要的可以顺手点个 Star! https://github.com/turbo-duck/biquge_fiction_spider 背景介绍 上一节已经拿到了每个小说的编码:fiction_code,并且写入了数据库表。 接下来,我们写一个小工具,将 阅读全文
posted @ 2024-06-21 09:27 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:代码仓库 代码实现部分很简单! 为了大家方便,代码我已经全部都上传到了 GitHub,希望大家可以点个Start! https://github.com/turbo-duck/biquge_fiction_spider 背景信息 我们计划对笔趣阁网站的小说进行爬取。我们通过小说的排行榜对整个网站的所 阅读全文
posted @ 2024-06-20 14:38 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:代码仓库 我把东西都打包到GitHub了,时不时我就去更新一下加点新功能进去。大家需要的话帮忙点个 Star! https://github.com/turbo-duck/autodl-keeper 背景介绍 平常对模型进行训练、微调的时候,我在 AutoDL 有一台主机。 但是有些主机环境我配置好 阅读全文
posted @ 2024-06-19 11:15 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:实现定时器 1.简介 当指定的时间过去后 系统会触发你给定的回调函数 Timer功能实在是太重要了 如果没有定时器 操作系统很多任务都做不了 至少你编程画个时钟 搞个闹钟程序什么的 你就没法实现 从这节开始 我们看看timer功能是怎么实现的 2.代码 主控制器的IRQ0对应的就是时钟中断 只要我们 阅读全文
posted @ 2024-06-05 09:54 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:Runnables can easily be used to string together multiple Chains Runnables 可以很容易地用于将多个链串在一起 安装依赖 pip install --upgrade --quiet langchain-core langchain 阅读全文
posted @ 2024-06-03 11:44 武子康 阅读(0) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示