随笔分类 -  Python

上一页 1 2 3 4 5 6 7 下一页

jinja2 通过Template. make_module 进行动态macro 创建以及macro 方法调用
摘要：实际属于一个小技巧，可以实现比较灵活的jinja2 扩展，是从dbt 对于macro 的处理部分学习到的 参考代码 app.py from jinja2 import Environment env = Environment() # 定义macro 的内容 macro_template = """ 阅读全文

posted @ 2024-03-26 15:26 荣锋亮 阅读(35) 评论(0) 推荐(0) 编辑

jinja2 实现return macro
摘要：设计上来自dbt 的return macro， 实际上就是一个macro 会触发一个exception 我们对于这个exception 单独捕获处理下 returnmacro 函数开发 return_macro 函数定义 def return_macro(values): raise MacroRe 阅读全文

posted @ 2024-03-26 15:24 荣锋亮 阅读(22) 评论(0) 推荐(0) 编辑

aiohttp unix socket 启动简单说明
摘要：aiohttp 官方推荐了不少部署模式，以下是关于unix socket 部署的简单说明 参考配置 web.py from aiohttp import web import argparse parser = argparse.ArgumentParser(description="aiohttp 阅读全文

posted @ 2024-03-22 08:24 荣锋亮 阅读(16) 评论(0) 推荐(0) 编辑

dremio python odbc & pandas 集成示例代码
摘要：主要是一个记录，方便后续使用 参考代码 代码 import pyodbc import pandas host = "localhost" port = "32010" user = "admin" password = "admin123" ssl = "false" schema = "s3v2 阅读全文

posted @ 2024-03-20 08:00 荣锋亮 阅读(35) 评论(0) 推荐(0) 编辑

python singledispatch 使用简单说明
摘要：singledispatch 可以实现类似方法的范型能力，以下是使用的简单说明 方法 参考代码 from functools import singledispatch @singledispatch def add(a,b): return f"default {a}-{b}" @add.regi 阅读全文

posted @ 2024-03-12 19:55 荣锋亮 阅读(117) 评论(0) 推荐(0) 编辑

python asgi 框架资料
摘要：asgi 是支持python 异步的python web 服务器，框架和应用程序之间的标准接口，目前不少框架已经支持了目前github 上有一个不错的项目，里边包含了各类支持以及实现了asgi 的框架，值得学习 awesome-asgi 参考资料 https://github.com/encode/ 阅读全文

posted @ 2024-03-12 09:47 荣锋亮 阅读(35) 评论(0) 推荐(0) 编辑

scalene python cpu&gpu 性能分析工具
摘要：scalene 使用一个python cpu&gpu 性能分析工具，同时也支持内存的分析，同时还提供了基于ai的智能优化推荐 包含的一些特性 cli 支持多种输出格式 包含了一个web-gui 基于ai 的智能提示 参考使用 安装 pip install scalene 包含的cli usage: 阅读全文

posted @ 2024-03-07 14:47 荣锋亮 阅读(177) 评论(0) 推荐(0) 编辑

memray python 内存profiler 工具简单试用
摘要：memray python 内存profiler 工具，功能还是很强大的，以下是一个简单使用 参考使用 安装 pip install memray 支持的cli usage: memray [-h] [-v] [-V] {run,flamegraph,table,live,tree,parse,su 阅读全文

posted @ 2024-03-07 14:47 荣锋亮 阅读(353) 评论(0) 推荐(0) 编辑

sqlglot python sql 解析以及翻译工具
摘要：sqlglot 实际上是由和sqlmesh一个团队开发的就用python 的sql 解析以及翻译工具，功能还是比较强大的支持20多种sql 方言的格式化以及翻译，sqlmesh 就使用了此工具包，当然相比其他一些工具，性能也是很不错的 参考资料 https://github.com/tobymao/ 阅读全文

posted @ 2024-01-15 09:22 荣锋亮 阅读(1288) 评论(0) 推荐(0) 编辑

maturin 简单试用
摘要：前边也简单介绍了maturin 是pyo3 推荐的rust python 模块开发首选工具,以下是一个简单的试用 项目准备 初始化项目 mkdir first cd first python -m venv venv source venv/bin/activate pip install matu 阅读全文

posted @ 2023-12-19 10:44 荣锋亮 阅读(349) 评论(0) 推荐(0) 编辑

maturin 方便发布基于rust 的python 包工具
摘要：maturin 是PyO3团队开发的，方便我们开发基于rust 的python 包，比如PyO3 的使用文档中就使用了此工具 安装&使用 安装(可选，可以基于venv 安装) 可以基于pip 以及pipx pipx install maturin 创建一个简单项目 python -m venv .v 阅读全文

posted @ 2023-12-18 11:23 荣锋亮 阅读(353) 评论(0) 推荐(0) 编辑

pypy 高性能python 解释器
摘要：pypy 是基于RPython 语言开发的cpython 替换工具 包含的特性 高速 使用了JIT 技术，运行比较快 可以支持基于无栈模式 沙箱支持 对于现有python 周边的支持比较好 当然可能也会有问题，但是大部分运行是可以的 参考使用 一个基于ffi 的集成，实际上目前pypy 已经集成了c 阅读全文

posted @ 2023-12-14 09:32 荣锋亮 阅读(43) 评论(0) 推荐(0) 编辑

graalvm 23.1.0 关于python 集成的说明
摘要：从graalvm 23.1.0 开始，python 的集成与nodejs 类似也是独立了，使用上与nodejs 类似，可以简化不少集成 参考资料 https://github.com/oracle/graalpython/releases/tag/graal-23.1.0https://www.gr 阅读全文

posted @ 2023-09-20 11:18 荣锋亮 阅读(109) 评论(0) 推荐(0) 编辑

cloudpickle pickle 扩展包
摘要：pickle 是python的序列化包，但是默认pickle 不能进行lambda 的处理，cloudpickle 对于pickle 进行了一些扩展，可以更好的支持 集群节点之间的共享以及计算，同时apache spark 的pyspark 也集成了此功能，只是是自己fork的完整代码 参考使用 d 阅读全文

posted @ 2023-09-19 17:09 荣锋亮 阅读(139) 评论(0) 推荐(0) 编辑

python 新的包构建模式
摘要：实际上是PEP 517 的定义，主要是对于基于distutils以及setuptools 已经存在太久的时间了，需要一些调整了目前已经有了不少相关的实现了，同时也有不少python 包的开发就是基于了新的规范了，hatch 以及poetry 是一个不错的选择 说明 关于python包开发的，有一本很 阅读全文

posted @ 2023-08-12 12:35 荣锋亮 阅读(40) 评论(0) 推荐(0) 编辑

oracle 轻量级python连接驱动
摘要：实际上oracle python 驱动自从去年5月左右就提供了thin 模式，对于通过python 连接oracle 的同学是特别的，轻量方便 新版本oracle 驱动支持模式 从下图也可以看出来，支持可选的oracle client 模式 参考使用 oracle 部署(docker-compose 阅读全文

posted @ 2023-08-01 08:26 荣锋亮 阅读(187) 评论(0) 推荐(0) 编辑

pypiserver 最小开源pip 私服
摘要：pypiserver 是一个轻量的pip 私服，支持下载以及上传，对于pip 包我们可以通过scp 以及标准pip 上传处理 启动 基于venv python3 -m venv venv source venv/bin/activate mkdir packages pypi-server run 阅读全文

posted @ 2023-04-20 10:04 荣锋亮 阅读(240) 评论(0) 推荐(0) 编辑

使用py4j 实现python与java 的互调用
摘要：py4j 是基于rpc 模式的python与Java 调用的处理模式，功能还是很强大的，而且pyspark 就是基于此的 参考使用 java 项目 主要提供server 能力 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns= 阅读全文

posted @ 2022-07-30 20:20 荣锋亮 阅读(1024) 评论(0) 推荐(0) 编辑

pyenv 的virtualenv
摘要：pyenv 包含了virtualenv，我们可以用来方便的管理venv环境，同时的好处是可以进行复用，减少因为项目级别的 venv 造成存储空间的占用 参考命令 pyenv virtualenv --help Usage: pyenv virtualenv [-f|--force] [VIRTUAL 阅读全文

posted @ 2021-01-04 09:30 荣锋亮 阅读(170) 评论(0) 推荐(0) 编辑

python 可视化包streamlit学习
摘要：streamlit是一个快速开发基于python应用的数据app包，开发比较方便,同时官方也提供了 一个方便云服务 安装 python -m venv venv source venv/bin/activate pip install -i https://mirrors.aliyun.com/py 阅读全文

posted @ 2021-01-03 20:46 荣锋亮 阅读(3812) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示