摘要：
# 思路 在一台在线的机器上安装一个独立的conda环境，然后把环境所在目录打包、传给离线机器 # 准备 两台机器都安装了conda # 步骤 ## 安装 python 3.8.3 的独立conda环境 ```bash conda create -n --copy python=3.8 ``` ## 阅读全文
posted @ 2023-06-15 16:35
LexLuc
阅读(460)
评论(0)
推荐(0)
摘要：
定义BaseLogger：base_logger.py # -*- coding: utf-8 -*- import sys import logging import logging.handlers from typing import Union from cfg.common import 阅读全文
posted @ 2023-05-08 17:15
LexLuc
阅读(63)
评论(0)
推荐(0)
摘要：
找到虚拟环境的requests.session类定义并修改verify=False venv/lib/python3.11/site-packages/requests/sessions.py class Session(SessionRedirectMixin): def __init__(sel 阅读全文
posted @ 2023-05-04 17:57
LexLuc
阅读(235)
评论(0)
推荐(0)
摘要：
经典协同过滤 假设行为相似的用户有着相似的偏好，根据大量用户user的行为反馈识别用户群体的感兴趣的内容item并推荐，通常使用用户内容矩阵（User-Item Interaction Matrix）来表示。 显式反馈（打分） 能够明确反应出用户对内容的喜好程度，但数据获取难度高，数据量小。 隐式反 阅读全文
posted @ 2023-03-04 18:32
LexLuc
阅读(458)
评论(0)
推荐(0)
摘要：
对齐与能力 能力（Capability）：模型完成一些特定任务的能力。 未对齐（misalignment）：模型在训练集上表现很好，但在测试集上表现很差。说明模型有能力学习，但训练设定的目标不对^1。 类似初版的GPT-3这类大模型，已经在大量的数据上训练过，也能够生成人类语言，但无法生成人类期望的 阅读全文
posted @ 2023-03-04 17:13
LexLuc
阅读(746)
评论(0)
推荐(0)
摘要：
GPT系列模型的历史 GPT-1 Paper 关键研究成果 将transformer架构与无监督的预训练结合，相较于之前的语言模型将有非常大的提升； 基于预训练之后的模型针对一个小任务进行微调（fine-tune），将凸显出比较强的自然语言理解能力； GPT-2 Paper 关键研究成果 新增多任务 阅读全文
posted @ 2023-03-04 17:00
LexLuc
阅读(1438)
评论(0)
推荐(0)
摘要：
问题描述 Java API报错 java.io.IOException: Unable to find region for 2520192391014818087 in $TABLENAME ； ERROR Utils: Aborting task org.apache.hadoop.hbase. 阅读全文
posted @ 2023-03-04 15:07
LexLuc
阅读(2931)
评论(0)
推荐(0)
摘要：
问题描述 源表数据将HBase集群内节点的存储空间撑爆，导致HBase集群内节点拒绝服务； 思路 筛选出没用且占用空间最大的n张表，通过hbase client删除。 修复步骤 查询HDFS占用空间情况：hdfs dfs -df -h； 确认是否是HBase表占用的空间比较大：hdfs dfs -d 阅读全文
posted @ 2023-03-02 20:00
LexLuc
阅读(298)
评论(0)
推荐(0)
摘要：
/etc/hosts.allow与/etc/hosts.deny的判定机制 读取/etc/hosts.allow文件，从上到下读取： 如果守护程序-客户端对与文件中的第一行匹配，则授予访问权限； 如果该行不匹配，则读取下一行并执行相同的检查； 如果读取了所有行，但没有匹配，则从顶部开始读取/etc/ 阅读全文
posted @ 2023-02-21 22:27
LexLuc
阅读(1629)
评论(0)
推荐(0)
摘要：
概述 概念 Task Worker Arg Chunk 迭代 Taskel Parallelization Overhead 目标 场景 密集场景 稀疏场景 Multiprocessing.Pool 的输入分块算法 量化算法效率 量化模型（待续） 概述 需求开发过程中，难免会遇到单核算力不足的场景。 阅读全文
posted @ 2022-12-20 20:21
LexLuc
阅读(731)
评论(0)
推荐(0)
浙公网安备 33010602011771号