07 2024 档案

摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis (已更完)Kafka(正在更新…) 章节内容 上 阅读全文
posted @ 2024-07-31 09:45 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis (已更完)Kafka (正在更新…) 章节内容 阅读全文
posted @ 2024-07-30 09:49 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis (已更完)Kafka (正在更新…) 章节内容 阅读全文
posted @ 2024-07-30 09:37 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis (已更完)Kafka (正在更新…) 章节内容 阅读全文
posted @ 2024-07-29 09:12 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis (已更完)Kafka (正在更新…) 章节内容 阅读全文
posted @ 2024-07-29 08:55 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis (正在更新…) 章节内容 上节我们完成了: Re 阅读全文
posted @ 2024-07-27 08:49 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis (正在更新…) 章节内容 上节我们完成了: Re 阅读全文
posted @ 2024-07-26 09:00 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:背景描述 LangChain的社区提供了很多封装好的工具,可以直接拿来用(有的需要申请和配置API KEY) 安装依赖 pip install --upgrade --quiet langchain-core langchain langchain-openai 编写代码 这里使用 DuckDuck 阅读全文
posted @ 2024-07-25 16:06 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis (正在更新…) 章节内容 上一节我们完成了: R 阅读全文
posted @ 2024-07-25 08:49 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:背景描述 我们在调用OpenAI的接口时,有些内容可能是违反条例的,所以官方提供了一个工具来检测。 安装依赖 pip install --upgrade --quiet langchain-core langchain langchain-openai 编写代码 下文中我们使用了: OpenAIMo 阅读全文
posted @ 2024-07-24 17:52 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:问题背景 平常我们的任务都是一次性会话,大模型是不会记录你的上下文的。如果我们要进行持续会话,或者希望大模型有记忆的话,我们需要对上下文进行管理。但这个过程是比较复杂的,LangChain 提供了一系列的工具来帮助我们简化过程。 安装依赖 pip install --upgrade --quiet 阅读全文
posted @ 2024-07-24 17:26 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis (正在更新…) 章节内容 上节完成了的内容如下: 阅读全文
posted @ 2024-07-24 09:23 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis (正在更新…) 章节内容 上节完成了的内容如下: 阅读全文
posted @ 2024-07-23 09:36 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis (正在更新…) 章节内容 上一节我们完成了如下的 阅读全文
posted @ 2024-07-23 09:21 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: HadoopHDFSMapReduceHiveFlumeSqoopZookeeperHBaseRedis (正在更新) 章节内容 上一节我们完成了如下的内容: bitmap 位操作类型geo 空间类型 空间计算 Z阶曲线 Base32 阅读全文
posted @ 2024-07-23 09:21 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: HadoopHDFSMapReduceHiveFlumeSqoopZookeeperHBaseRedis (正在更新) 章节内容 上一节我们完成了如下的内容: string 类型list 类型set 类型sortedset (zset 阅读全文
posted @ 2024-07-22 09:23 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:超详细从0-1部署ChatGLM2-6B-INT4(6GB),双卡 2070 Super 8GB * 2,后续一步一步对大模型进行微调测试! 阅读全文
posted @ 2024-07-21 18:34 武子康 阅读(401) 评论(0) 推荐(1) 编辑
摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: HadoopHDFSMapReduceHiveFlumeSqoopZookeeperHBaseRedis (正在更新) 章节内容 上一节我们完成了: Redis 源码下载Redis 编译、安装Redis 配置修改Redis 服务启动 阅读全文
posted @ 2024-07-20 09:10 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: HadoopHDFSMapReduceHiveFlumeSqoopZookeeperHBaseRedis 章节内容 上一节我们完成了: HBase Maven工程 POM引入HBase JavaAPIHBase Java实现 增、删、 阅读全文
posted @ 2024-07-19 09:10 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: HadoopHDFSMapReduceHiveFlumeSqoopZookeeperHBase 正在··· 章节内容 上一节我们完成了: HBase Shell 的使用HBase 增、删、改、查等操作HBase列族相关的操作 背景介绍 阅读全文
posted @ 2024-07-19 08:46 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: HadoopHDFSMapReduceHiveFlumeSqoopZookeeperHBase 正在··· 章节内容 上一节我们完成了: 集群的分发和配置集群的启动测试HBaseShell的简单测试 背景介绍 这里是三台公网云服务器, 阅读全文
posted @ 2024-07-18 09:20 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: HadoopHDFSMapReduceHiveFlumeSqoopZookeeperHBase 正在··· 章节内容 上一节我们完成了: HBase 下载解压安装HBase 配置环境变量HBase 修改配置 hbase-env hba 阅读全文
posted @ 2024-07-18 09:07 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: HadoopHDFSMapReduceHiveFlumeSqoopZookeeper 章节内容 上节我们完成了: 并发出现的问题锁的解决方案ZK分布式锁的解决方案实现一个简单的分布式锁ZK版 背景介绍 这里是三台公网云服务器,每台 2 阅读全文
posted @ 2024-07-17 10:39 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:章节内容 上节我们完成了: ZooKeeper的Leader选举机制ZooKeeper的选举过程ZooKeeper的ZAB协议 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3 阅读全文
posted @ 2024-07-16 09:38 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:章节内容 上节我们完成了如下的内容: ZK创建节点:永久、顺序、临时ZK读取节点:列出、查看、更新ZK删除节点 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试 阅读全文
posted @ 2024-07-15 10:16 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:章节内容 上节我们完成了: ZNode的基本介绍ZNode节点类型的介绍事务ID的介绍ZNode实机测试效果 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在 阅读全文
posted @ 2024-07-15 08:52 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:章节内容 上一节我们完成了: HiveServer2 的介绍和配置安装修改 core-size hdfs-site 实现集群的启动Beeline 简单上手HCatalog 简单上手 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机 阅读全文
posted @ 2024-07-13 21:32 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:章节内容 上节我们完成了: ZooKeeper 集群配置ZooKeeper 集群启动ZooKeeper 集群状况查看Follower 和 Leader 节点 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下 阅读全文
posted @ 2024-07-13 09:14 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:章节内容 上一节我们完成了: ZooKeeper 的简介ZooKeeper 的下载安装ZooKeeper 的单机配置和启动 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机 阅读全文
posted @ 2024-07-13 08:54 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:章节内容 上节我们完成了如下的内容: Sqoop MySQL迁移到HiveSqoop Hive迁移数据到MySQL编写脚本进行数据导入导出测试 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着 阅读全文
posted @ 2024-07-12 09:45 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:章节内容 上节我们完成了如下的内容: Sqoop 部分导入数据 --querySqoop 部分导入数据 --where记录执行过程和执行结果 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前 阅读全文
posted @ 2024-07-11 09:29 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:章节内容 上节我们完成了: Sqoop 介绍Sqoop 下载配置环境等Sqoop 环境依赖:Hadoop、Hive、JDBC 等环境补全 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天 阅读全文
posted @ 2024-07-11 09:29 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:章节内容 上一节我们完成了如下的内容: 编写一个 SQL 脚本生成数据启动我们的依赖服务:HDFS、Hive、YARNSqoop 将数据 全量 导入 Hive查看MapReduce状态、查看HDFS结果 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之 阅读全文
posted @ 2024-07-11 09:20 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:背景介绍 ChatGLM3是由智谱AI和清华大学KEG实验室联合开发的一款新一代对话预训练模型。这个模型是ChatGLM系列的最新版本,旨在提供更流畅的对话体验和较低的部署门槛。ChatGLM3-6B是该系列中的一个开源模型,它继承了前两代模型的优秀特性,并引入了一些新的功能和改进。 基础模型性能提 阅读全文
posted @ 2024-07-10 23:34 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:章节内容 上一节我们已经完成了: Flume 采集数据Flume 3个Agent编写Flume 双写:本地+HDFS 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶 阅读全文
posted @ 2024-07-10 09:21 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:章节内容 上一节完成了如下的内容: 编写Agent Conf配置文件收集Hive数据汇聚到HDFS中测试效果 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在 阅读全文
posted @ 2024-07-09 10:17 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:章节内容 上一节我们完成了内容: Flume 启动测试Flume Conf编写Flume 测试发送和接收数据 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在 阅读全文
posted @ 2024-07-09 09:58 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:代码仓库 会同步代码到 GitHub https://github.com/turbo-duck/flink-demo 接着上一节的内容 https://blog.csdn.net/w776341482/article/details/139873938 pom内容 <?xml version="1 阅读全文
posted @ 2024-07-08 00:30 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:章节内容 上一节我们完成了: Metastore的基础概念配置模式:内嵌模式、本地模式、远程模式实机配置远程模式 并测试 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器 阅读全文
posted @ 2024-07-06 11:31 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:章节内容 上一节我们完成了: Hive中数据导出:HDFSHQL操作上传内容至Hive、增删改查等操作 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在公网上 阅读全文
posted @ 2024-07-06 11:05 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:章节内容 上一节我们完成了: 启动Hive测试Hive修改配置简单测试 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在公网上搭建体验一下。 注意,如果你和我 阅读全文
posted @ 2024-07-05 09:34 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:章节内容 上一节我们完成了: Hive简介安装配置下载、解压等等操作修改配置MariaDB 安装启动配置建立用户 远程访问 刷新权限 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊 阅读全文
posted @ 2024-07-05 09:13 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:章节内容 上一节我们完成了: Reduce JOIN 的介绍Reduce JOIN 的具体实现DriverMapperReducer运行测试 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前 阅读全文
posted @ 2024-07-04 10:32 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:章节内容 上一节我们完成了: MapReduce的介绍Hadoop序列化介绍Mapper编写规范Reducer编写规范Driver编写规范WordCount功能开发WordCount本地测试 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 V 阅读全文
posted @ 2024-07-04 10:04 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:代码仓库 会同步代码到 GitHub https://github.com/turbo-duck/flink-demo 上节进度 在上节中,已经使用 Dockerfile + docker-compose 的方式启动了Flink的服务 1个JobManager1个TaskManager 访问 IP 阅读全文
posted @ 2024-07-04 09:53 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:背景简介 我们知道GPT模型对于内容的输出,是对下一个字符的预测,通过概率选出下一个文本。 而且我们也知道,训练样本是非常庞大的,对于GPT来说,也是有可能学习过1 + 1 = 2的。 当我们向GPT询问1+1 时,完全可以通过概率来推测出结果是2 但是当我们要求GPT计算:123111111111 阅读全文
posted @ 2024-07-03 17:57 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:章节内容 上一节完成: HDFS的集群启动HDFS的命令行操作HDFS 上传下载移动重命名等操作 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在公网上搭建体 阅读全文
posted @ 2024-07-03 10:38 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:章节内容 上一节完成: HDFS的简介内容HDFS基础原理HDFS读文件流程HDFS写文件流程 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在公网上搭建体验 阅读全文
posted @ 2024-07-02 11:29 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:代码仓库 所有东西已经打包放到GitHhub,需要的小伙伴可以直接拉取。顺手可以帮忙点个Star! https://github.com/turbo-duck/postgre-gis 背景介绍 我们有一批坐标点和一批区域点。 比如: 100万个点,和10万个区域块。 我们遇到了这样的需求:这100万 阅读全文
posted @ 2024-07-02 09:34 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:章节内容: 上一节完成: HDFS 文件操作WordCount 案例 分布式运行查看运行结果 背景介绍 这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。 之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在公网上搭建体验一 阅读全文
posted @ 2024-07-01 10:16 武子康 阅读(0) 评论(0) 推荐(0) 编辑
摘要:写在前面 从小就非常喜欢小樱!从小樱的动画到动漫书我都看了个遍,包括C妈几年前更新了(哇这么久了都)Clear Card。 直到最近C妈终于更新完了 Clear Card 的漫画,听说好像新的视频在筹备了,我好期待!!! (微调完的LoRA生成的效果如下,其中几张) 机器环境 页面提供 PyTorc 阅读全文
posted @ 2024-07-01 09:59 武子康 阅读(0) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示