随笔分类 -  Python

上一页 1 2 3 4 5 6 7 下一页

rpyc python rpc 框架
摘要：rpyc 属于一个老牌项目了，支持rpc 模式的处理，同时支持面向服务的开发模式，包含了一些安全控制，支持服务注册，服务发现 包含的特性 透明，可以使用类似本地模式的方法访问 对称，client 以及server 都可以支持调用 支持同步以及异步操作 平台无关 低开销 安全，支持基于tls，以及ss 阅读全文

posted @ 2024-09-29 17:02 荣锋亮 阅读(95) 评论(0) 推荐(0) 编辑

trafilatura python web 数据获取库
摘要：trafilatura python web 数据获取库，比较适合进行爬虫，数据提取，支持输出数据为csv，json，html，md，txt，xml 包含的特性 高级web 爬虫以及文本发现 并行处理在线以及离线输入内容 灵活的配置支持，包含了元数据，格式，链接，表格 多输出格式，包含了文本，mar 阅读全文

posted @ 2024-09-07 07:37 荣锋亮 阅读(73) 评论(0) 推荐(0) 编辑

typer python cli 开发框架
摘要：typer 是一个基于python type hints 的快速强大的cli 开发框架，由fastapi 框架的作者开发，是一个很不错的工具 包含的特性 使用简单 简单 支持开发复杂cli 可以执行运行script 参考使用 安装 python -m venv venv source venv/bi 阅读全文

posted @ 2024-09-04 06:36 荣锋亮 阅读(65) 评论(0) 推荐(0) 编辑

chainlit 异步以及同步转换处理简单说明
摘要：chainlit 提供了工具方法，可以方便的将同步转异步，同时将异步转同步 使用 同步转异步 from chainlit import make_async def my_sync_function(): # Your synchronous code goes here import time t 阅读全文

posted @ 2024-08-31 07:30 荣锋亮 阅读(55) 评论(0) 推荐(0) 编辑

poetry extras 以及group 模式简单说明
摘要：我以前简单介绍过poetry 的extras，此模式实际上是可以兼容pip 的，这样我们安装的包就可以通过pip install awesome[databases] 进行处理，group 模式实际上属于poetry 工具自己的特性，方便基于分组模式的依赖管理 poetry extras 参考配置 阅读全文

posted @ 2024-08-31 07:30 荣锋亮 阅读(85) 评论(0) 推荐(0) 编辑

wrapt 一个方便的python装饰器包
摘要：wrapt 一个方便的python装饰器包，提供了装饰器包装，以及猴子补丁能力，是一个很值得使用的包 一个简单猴子补丁玩法 业务场景 有一个登陆方法，需要进行日志记录，但是不想直接修改原始代码 参考代码 my.py def login(name,password): return f"Welcome 阅读全文

posted @ 2024-08-31 07:29 荣锋亮 阅读(42) 评论(0) 推荐(0) 编辑

flit简单快读python 打包工具
摘要：flit简单快读python 打包工具，使用简单，支持fllat 项目结构以及src 模式的结构 使用 安装 python3 -m pip install flit 支持的cli usage: flit [-h] [-f INI_FILE] [-V] {build,publish,install,i 阅读全文

posted @ 2024-08-31 07:29 荣锋亮 阅读(56) 评论(0) 推荐(0) 编辑

miniconda 安装简单说明
摘要：miniconda 是一个快速安装conda 以及python 环境的工具，很值得使用 安装说明 下载 wget https://repo.anaconda.com/miniconda/Miniconda3-py312_24.5.0-0-Linux-x86_64.sh 安装 sh ./Minicon 阅读全文

posted @ 2024-08-17 07:53 荣锋亮 阅读(73) 评论(0) 推荐(0) 编辑

python-rq 简单使用
摘要：python-rq 是一个类似celery 的python 任务调度框架基于了redis 部署 需要包含worker 以及具体的任务执行，或者调度任务尺触发, 同时注意因为依赖redis 应该先启动redis 启动worker rq worker --with-scheduler 任务开发 注意任务 阅读全文

posted @ 2024-07-27 08:00 荣锋亮 阅读(92) 评论(0) 推荐(0) 编辑

fastapi apscheduler 集成简单说明
摘要：对于 fastapi apscheduler 集成以及支持动态添加任务的简单说明 参考使用 依赖 包含了fastapi，apscheduler sqlalchemy uvicorn pip install fastapi apscheduler sqlalchemy uvicorn 代码简单说明 代 阅读全文

posted @ 2024-07-26 08:00 荣锋亮 阅读(108) 评论(0) 推荐(0) 编辑

constructor conda 软件安装包构建工具
摘要：constructor 可以用来方便的进行软件包的构建，目前包含了pkg.exe,sh 可以支持不同的操作系统,以下是一个简单使用 准备conda 环境 命令 conda create -n con constructor // 激活 conda activate con 使用 construct. 阅读全文

posted @ 2024-07-25 08:00 荣锋亮 阅读(38) 评论(0) 推荐(0) 编辑

scrapyd 运行egg 的内部处理简单说明
摘要：以前简单说明了下scrapyd_client deploy 的处理，现在说明下scrapyd 运行egg 的内部处理 内部处理 激活egg 模块 scrapyd 包装了自己的方法，对于激活的会添加的执行环境中 def activate_egg(eggpath): """Activate a Scra 阅读全文

posted @ 2024-07-08 07:25 荣锋亮 阅读(31) 评论(0) 推荐(0) 编辑

通过site 包加载egg 或者whl pcakge 包并动态调用模块方法
摘要：以前简单说过通过sys.path 进行egg 文件模块的加载，实际上我们可以结合site 以及.pth 能力，实现灵活的加载处理，同时通过 importlib 进行动态加载，以下是一个简单说明 加载配置 通过site 包，添加自定义目录，目录里边包含 .pth 配置 目录结构 .pth 内容 使用 阅读全文

posted @ 2024-06-08 12:32 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

python 生成uber egg 的几个工具
摘要：有些时候我们为了方便python 模块的分发，会有类似java uber jar的需求，社区已经有一些不错的可选工具，以下说明下 uberegg 这个工具scrapy-client 中的deploy 就使用了此工具，对于依赖的构建我们制定配置就可以了python setup.py bdist_ube 阅读全文

posted @ 2024-06-05 21:47 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

python 直接加载egg 文件的模块
摘要：主要作为一个简单记录 参考示例 文件模式 import sys import os egg_path = os.path.join(os.path.dirname(__file__), 'dist', 'mydalong-0.1-py3.11.egg') sys.path.append(egg_pa 阅读全文

posted @ 2024-06-05 21:45 荣锋亮 阅读(67) 评论(0) 推荐(0) 编辑

dbt test block 简单说明
摘要：dbt 的test block实际上是一个jinja2 的扩展，目前主要是test 场景中使用, 此block的实现处理与标准物化的处理是类似的都是jinja2 的扩展 test macro 的创建 按照当前dbt 的版本是分为两中模式，对于tests 路径是可以配置的，包含了tests/gener 阅读全文

posted @ 2024-04-23 07:42 荣锋亮 阅读(28) 评论(0) 推荐(0) 编辑

dbt adapter macro 简单说明
摘要：dbt 的adapter macro 提供了方便的在macro 中对于db 操作的能力，让macro 具有了动态能力，默认包含了不少实现 而且在不少dbt 项目中经常看到 参考使用 结合了api 这个macro 提供了能力，进行ddl 的维护 {%- set target_relation = ap 阅读全文

posted @ 2024-04-18 06:40 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

dbt 项目依赖文件加载处理简单说明
摘要：核心是通过ManifestLoader 的load 方法中通过调用ReadFilesFromFileSystem 处理的，以前简单说明dbt 的一些任务执行是需要先生成manifest文件（比如run） 此任务数据的预处理是通过装饰器 ReadFilesFromFileSystem 类 @datac 阅读全文

posted @ 2024-04-16 08:00 荣锋亮 阅读(29) 评论(0) 推荐(0) 编辑

dbt CompileTask 简单说明
摘要：以前简单介绍过dbt 的manifest Compiler 模块，以下说明下dbt 的CompileTask cli task 作用 核心是对于解析生成的Manifest 进行编译，同时还会对于编译结果写入target 目录，同时还需要进行db 链接进行一个check 处理（比如schema 信息获 阅读全文

posted @ 2024-04-15 00:58 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑

jinja2 通过添加自定义parser实现macro的名称调整
摘要：实际上是dbt 在设计macro 中的一个技巧，比较有意思，对于系统或者三方包开发的macro 添加自己prefix 比如，原始macro name 为dremio__alter_column_type dbt 会将解析的macro 添加一个dbt_macro__的前缀为 dbt_macro__dr 阅读全文

posted @ 2024-04-14 06:46 荣锋亮 阅读(22) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示