摘要: 增量预训练也叫领域自适应预训练(domain-adapter pretraining),即在所属领域数据上继续预训练。 主要问题是在增量预训练后可能发生灾难性遗忘。 避免灾难性遗忘主要从以下几个方面入手: 1 领域相关性 增量数据与所选基座模型的原始训练数据尽量一定的相关性。 2 新数据分布与原始数 阅读全文
posted @ 2023-10-25 14:01 是我菜了 阅读(1840) 评论(0) 推荐(0) 编辑
摘要: 一 什么是幻觉问题 大模型的幻觉问题是指大模型生成的答案不基于任何事实数据,简单来说就是杜撰、一本正经的胡说八道。 幻觉问题也是影响大模型落地的重要原因之一 幻觉问题分类 1 和用户输入冲突的幻觉 2 和上下文冲突的幻觉 3 和事实知识冲突的幻觉(目前重点)例如,大模型在生成医疗建议时可能会捏造错误 阅读全文
posted @ 2023-10-25 11:31 是我菜了 阅读(897) 评论(0) 推荐(0) 编辑
摘要: tar命令 一 必选参数 -c 表示创建文件 -create -x 表示解压缩文件 -t 表示查看压缩包里的文件 -r 追加压缩文件 -u 更新压缩包中的文件 -f 指定文档名 后面不能接参数,例如-xzvf是对的而-xzfv不对 二 可选参数 -z 用gzip压缩/解压缩 -j 用bzip2压缩/ 阅读全文
posted @ 2023-03-23 13:23 是我菜了 阅读(123) 评论(0) 推荐(0) 编辑
摘要: 作者:李rumor链接:https://www.zhihu.com/question/354129879/answer/882012043来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 首先对BERT本身的输出做pooling就可以得到句子表示,然后用一些metric 阅读全文
posted @ 2022-03-09 13:35 是我菜了 阅读(1002) 评论(0) 推荐(0) 编辑
摘要: jdk安装: https://www.cnblogs.com/zxjb/p/12066328.html neo4j安装: https://blog.csdn.net/u013946356/article/details/81736232 阅读全文
posted @ 2022-02-15 15:41 是我菜了 阅读(55) 评论(0) 推荐(0) 编辑
摘要: cat 查看文件内容 sudo su 切换到root权限 su 用户名 切回到普通用户 ls cd du : 显示每个文件和目录的磁盘使用空间,文件的大小。 du -h df: 显示磁盘分区上可以使用的磁盘空间 df -h ll ls -a ll好用 查看文件详细信息 包括所属者 ll -a -h 阅读全文
posted @ 2021-09-03 10:50 是我菜了 阅读(103) 评论(0) 推荐(0) 编辑
摘要: 安装流程:https://blog.csdn.net/qq_38308388/article/details/115487915 版本对应查询:https://blog.csdn.net/weixin_42077074/article/details/113745393 https://blog.c 阅读全文
posted @ 2021-09-02 10:08 是我菜了 阅读(45) 评论(0) 推荐(0) 编辑
摘要: log 等级: DEBUG 、INFO、WARNING(默认)、ERROR、CRITICAL 依次递增,意味着如果setLevel设为INFO,那么可以记录INFO及以上的log 如何将log同时输出到控制台和本地文件 配置文件:utils.py # 配置log,logger是日志对象,handle 阅读全文
posted @ 2021-07-28 14:43 是我菜了 阅读(1313) 评论(0) 推荐(0) 编辑
摘要: import hashlib hl = hashlib.md5() hl.update(Object) hl.hexdigest() 阅读全文
posted @ 2021-07-23 19:49 是我菜了 阅读(57) 评论(0) 推荐(0) 编辑
摘要: 四种方法: # 第一种 os.path.exists(file_path) # 第二种 os.path.isfile(file_path) # 第三种 pathlib模块 # 第四种 os.access(file_path,mode) # 第五种 try+open() 或者with open() 示 阅读全文
posted @ 2021-07-21 13:36 是我菜了 阅读(692) 评论(0) 推荐(0) 编辑