2023年7月11日
Redis CRUD Client
摘要： ```python # -*-coding:utf-8 -*- import redis from config.redis_config import CACHE_REDIS_CONF # CACHE_REDIS_CONF = { # "host": "x.x.x.x", # "port": ?? 阅读全文
posted @ 2023-07-11 22:17 LexLuc 阅读(6) 评论(0) 推荐(0) 编辑
MySQL CRUD Client
摘要： ```python class MySqlClient: def __init__(self, db_name: str): self._conn = pymysql.connect(host=MYSQL_CONFIG['host'], port=MYSQL_CONFIG['port'], user 阅读全文
posted @ 2023-07-11 22:12 LexLuc 阅读(3) 评论(0) 推荐(0) 编辑
HBase CRUD client
摘要： ``` # requirement.txt happybase==1.2.0 ``` ```python """ hbase.py """ # -*- coding: utf-8 -*- import happybase from config.hbase_config import HAPPYBA 阅读全文
posted @ 2023-07-11 22:07 LexLuc 阅读(7) 评论(0) 推荐(0) 编辑
Personal utils in Python
摘要： ```python # -*- coding: utf-8 -*- import os import sys import shutil from time import perf_counter from collections import defaultdict from datetime i 阅读全文
posted @ 2023-07-11 21:41 LexLuc 阅读(9) 评论(0) 推荐(0) 编辑
2023年7月8日
StarCoder训练与微调
摘要： # BASE模型 模型大小：15.5B 训练数据量：800GB (1T token) 硬件资源：512张 Tesla A100 训练时长：24天 # 微调模型 微调模型：ZeRO-3 硬件资源：8张 Tesla A100 训练时长：3小时 # 有用链接 https://github.com/bigc 阅读全文
posted @ 2023-07-08 21:00 LexLuc 阅读(684) 评论(0) 推荐(0) 编辑
2023年7月4日
Python工程 .gitignore 文件备份
摘要： ``` # Byte-compiled / optimized / DLL files __pycache__/ *.py[cod] *$py.class # C extensions *.so # Distribution / packaging .Python build/ develop-eg 阅读全文
posted @ 2023-07-04 00:50 LexLuc 阅读(13) 评论(0) 推荐(0) 编辑
2023年7月3日
BigCode StarCoder系列模型
摘要： # StarCoderBase HF: https://huggingface.co/bigcode/starcoderbase Training dataset: [The Stack v1.2](https://huggingface.co/datasets/bigcode/the-stack) 阅读全文
posted @ 2023-07-03 16:54 LexLuc 阅读(58) 评论(0) 推荐(0) 编辑
敏捷需求细化 reqirement refinement
摘要： # 一句话需求 用户需要搜索附近的酒店 # 简单调研后整理出User Story 我是谁？**As a** 已登录用户 我的诉求是？**I want to** 搜索附近5km的酒店 我的原始目的是？**So that** 能够在出行时解决住宿问题 # 和程序员对齐验收标准 **Given** 用户已 阅读全文
posted @ 2023-07-03 16:08 LexLuc 阅读(9) 评论(0) 推荐(0) 编辑
2023年6月15日
离线迁移conda环境
摘要： # 思路 在一台在线的机器上安装一个独立的conda环境，然后把环境所在目录打包、传给离线机器 # 准备 两台机器都安装了conda # 步骤 ## 安装 python 3.8.3 的独立conda环境 ```bash conda create -n --copy python=3.8 ``` ## 阅读全文
posted @ 2023-06-15 16:35 LexLuc 阅读(312) 评论(0) 推荐(0) 编辑
2023年5月8日
Python 项目 Logging 实践案例
摘要： 定义BaseLogger：base_logger.py # -*- coding: utf-8 -*- import sys import logging import logging.handlers from typing import Union from cfg.common import 阅读全文
posted @ 2023-05-08 17:15 LexLuc 阅读(40) 评论(0) 推荐(0) 编辑