待学习内容记录

pdb: python内置模块,最近将程序部署到linux server运行后,出现问题不知道如何调试,用这个模块应该有办法。
pytest: 最近看dify源码,增加一个供应商后编写的测试用例,代码基本看不懂,需要好好学习一下此模块。
docker: 最近想本地部署dify,用源码调试,于是接触了一下docker。但需要花时间系统学习一下,的确是个好东西。
iterator, generator: 生成器的使用还要再研究一下,比如结合fastapi的depend函数。
server-sent-event(SSE): 一种server端单向推送的流式传输机制。requests模块里介绍了几种流式传输,一种是生成器,一种是文件流,... 忘记了...
fastapi: 源生支持异步的后端框架,需要系统学习一下。
flask: 后端框架,相较django是轻量级的,dify使用的就是它。部署时有个flask db upgrade的命令,一下子能将程序中使用的数据库表结构在数据库中自动创建,让我觉得很神奇。
pydantic: 数据校验的模块,功能强大,需要系统的学习和熟悉一下。在其他项目中经常会看到对这个模块的使用。
dify源码: 主要是想学学大神们的代码风格,以及一些高级用法。之前在添加了自定义供应商及预定义模型后,在debug模型方法过程中完全迷失了。主要是有一个步骤一下跳到了某个函数的中间位置,让我百失不得其解。
weaviate: 一款向量数据库。 想以它为例,学习一些向量数据库的通用功能。
ollama: 想研究一下本地部署大模型。
poetry: 一个逐渐流行的python包依赖管理工具。有一定的学习成本,但值得学习和使用。
sqlalchemy:一个流程的ORM模块,也支持异步。之前没有完整系统的学习。
Kubernetes: 又称K8s,是容器部署的编排工具,用于大批量容器部署的场景。而docker compose只用于在一台机器上部署多个容器。
Jenkins: 用于持续集成(CI/CD)的自动化工具,支持众多插件,比如docker,git。它可以自动监控到git仓库有没有更新。 可以编写脚本,让其自动化的发版。 比如目前公司部署的dify,当修改代码后,推送到仓库,在Jenkins选择对应的仓库,点击build后就可以自动化的完成发版。 当然,build的脚本得自己写好,比如先用docker build以新代码生成新的image,再用docker run来使用新的image启动容器等。
web3: 国外比较火的技术,基于区块链技术,同时各种币也在用这种技术实现。 无服务器模型,据说能接到国外的单子,并且价格不错。需要理解其智能合约的概念。
javascript: 以及node.js,有时间还是得学,应用太广,动不动就会接触到。
postgresSQL: 应该比mysql好用,尤其sql优化器要更强大。docker教程里涉及到的数据库基本都是它。
linux: 应该学些基本知识,比如常用命令,目录结构,权限策略等,以帮助理解docker的高级使用。
ast: python内置库,用于分析用字符串表示的代码块的各个对象
repair_json: python第三方库,用于修复json字符串里可能出现的不符合语法规则的部分
transformers: hugging face提供的python库,用于方便的下载模型到本地,并在本地直接运行,适合在本地运行小一点的开源模型。提供了更多的模型参数控制,便于学习和研究,测试等。
gradio: 一个易于进行gui demo展示的python库,在deeplearning的hugging face教学里经常用到,方便在jupyter notebook中展示gui页面。
jinja: 模板语法,用于动态构建html网页,主要用于前后端不分离的开发模型。dify中也有组件使用这种语法。 目前版本是jinja2

wsgi, rabbitmq, celery, worker

posted @ 2024-09-19 08:34  RolandHe  阅读(10)  评论(0编辑  收藏  举报