摘要: TP格式转HF 指令 python3 scripts/convert_llama_from_tencentpretrain_to_hf.py \ --tp_model_dir /cpfs01/shared/public/xulifeng_work/ChatFlow-7B_Tmp/ \ --input 阅读全文
posted @ 2023-06-27 11:16 清风紫雪 阅读(88) 评论(0) 推荐(0) 编辑
摘要: LoRA: Low-Rank Adaptation of Large Language Models 动机 大模型的参数量都在100B级别,由于算力的吃紧,在这个基础上进行所有参数的微调变得不可能。LoRA正是在这个背景下提出的解决方案。 原理 虽然模型的参数众多,但其实模型主要依赖低秩维度的内容( 阅读全文
posted @ 2023-06-26 18:11 清风紫雪 阅读(3631) 评论(0) 推荐(1) 编辑
摘要: 一、数据流中的中位数 题目 如何得到一个数据流中的中位数?如果从数据流中读出奇数个数值,那么中位数就是所有数值排序之后位于中间的数值。如果从数据流中读出偶数个数值,那么中位数就是所有数值排序之后中间两个数的平均值。 例如, [2,3,4] 的中位数是 3 [2,3] 的中位数是 (2 + 3) / 阅读全文
posted @ 2022-09-21 20:13 清风紫雪 阅读(89) 评论(0) 推荐(0) 编辑
摘要: 一、字符串的排列 题干: 输入一个字符串,打印出该字符串中字符的所有排列。 你可以以任意顺序返回这个字符串数组,但里面不能有重复元素。 示例: 输入:s = "abc" 输出:["abc","acb","bac","bca","cab","cba"] 限制: 1 <= s 的长度 <= 8 题解: 阅读全文
posted @ 2022-09-20 10:30 清风紫雪 阅读(127) 评论(0) 推荐(0) 编辑
摘要: 环境准备 本次数据集的格式.arff,需要用到arff2pandas模块读取。 # !nvidia-smi # !pip install -qq arff2pandas # !pip install -q -U watermark 导入相关模块 import torch import copy im 阅读全文
posted @ 2022-05-07 16:35 清风紫雪 阅读(2920) 评论(1) 推荐(1) 编辑
摘要: 均值滤波器 均值滤波器是一种使用频次较高的线性滤波器。它的实现原理很简单,就是指定一个长度大小为奇数的窗口,使用窗口中所有数据的平均值来替换中间位置的值,然后平移该窗口,平移步长为 1,继续重复上述操作,直至滑动到时序数据的末尾,如此一来,对时序数据的过滤操作就结束了。均值滤波器的思路简单,计算速度 阅读全文
posted @ 2022-03-03 21:26 清风紫雪 阅读(3692) 评论(0) 推荐(0) 编辑
摘要: 切换数据库 1.关闭当前neo4j进程2.打开F:\neo4j\neo4j-community-3.5.5-windows\neo4j-community-3.5.5\conf下文件,把dbms.active_database=test.db中的test.db切换成需要的数据库,dbms.allow 阅读全文
posted @ 2022-01-16 11:21 清风紫雪 阅读(1380) 评论(0) 推荐(0) 编辑
摘要: 前台大屏数据可视化 朝代诗集总数-柱状图 统计各朝代的诗集总数,进行柱状图展示 宋词意象词频统计-词云图 将收集的宋词,经过分词器,在进行统计后,得出的意象词频结果,再将其展示成为词云图。 唐朝情感分布-饼状图 分析唐朝诗词,进行七种情感分析,统计情感的占比,绘制饼状图展示。 诗人游历-旅行图 定义 阅读全文
posted @ 2022-01-04 22:19 清风紫雪 阅读(6993) 评论(47) 推荐(121) 编辑
摘要: 实体分析 诗名实体 属性 包含:作诗时间,诗名,内容,翻译,背景。 关系 实体1 关系 实体2 诗名 形式 诗词形式 诗名 作者 诗人 诗名 分类 类别 诗名 词牌名 词牌名 诗名 曲牌名 曲牌名 诗名 朝代 朝代 诗人实体 属性 包含:出生时间,头像链接,去世时间,诗词数量,字,号,名字,简介。 阅读全文
posted @ 2022-01-02 15:47 清风紫雪 阅读(1536) 评论(0) 推荐(3) 编辑
摘要: 数据获取 诗词数据 来源于:寻古诗词网 对应的诗词板块,构建诗词知识图谱,爬取了唐宋元明清五大朝代的诗词 根据朝代来逐个爬取,分页爬取,可以发现分页的规律 唐代古诗的第一页url链接格式如下:https://www.xungushici.com/shicis/cd-tang-p-1 第二页:http 阅读全文
posted @ 2022-01-01 15:41 清风紫雪 阅读(1261) 评论(0) 推荐(0) 编辑