摘要：
Raid0、Raid1、Raid0+1、Raid3和Raid5的区别 阅读全文
摘要：
问题的发现： 菜鸟D在工作的时候发现项目的sql语句很怪，例如 ： 这些代码抛开涉及到的业务不谈，我发现查找的列里有冗余，空值的判断，还有字符串的拼接，数据的计算等都放在了sql语句中，我在疑惑：这样到的sql语句如果处理百万级的数据是否合适？ 问题的解决： 菜鸟D在网上找到一些关于sql优化基本方 阅读全文
摘要：
给redis配置密码后，测试ping命令，报错如下： 在redis.conf中添加了密码，也重启了多次服务，异常依然存在。最后发现，服务停止后，进程依然存在，使用kill -9 干掉进程后重启，服务正常。 阅读全文
摘要：
在训练大模型的过程中，我们经常会遇见多机多卡的应用场景。大多数情况下，我们直接购买k8s服务或者使用hpc服务，我们不需要具体配置某些节点的信息。比如使用slurm，我们把sbatch命令整理好了提交就ok，至于节点可以在组建slurm网络的时候配置。基本上不会遇到需要自行配置ssh无密码连接的场景 阅读全文
摘要：
参考资料：服务器管理-Linux修改conda默认环境位置 - 知乎 (zhihu.com) 服务器home目录过大，被管理员提示了，排查了磁盘占用后，觉得将conda位置调整一下腾出的空间最大，就找到了参考资料改了conda的默认环境位置。修改完后conda info查看的信息也符合预期，就把en 阅读全文
摘要：
近期参与了一个跟华为数据交换的项目，简单聊聊华为的数据交换方案及使用心得。 先简单说一下背景：数据交换旨在建立企业互信，消除数据孤岛。行业数据都是各企业花费了大量精力整理得到的，一时间公开完全不可行。但是LLM的发展，基础模型需要越来越多的数据，这在倒逼企业合作，加之美国在相关方面的封锁，消除数据孤 阅读全文
摘要：
OpenAI Python库提供了使用Python语言编写的应用程序对OpenAI API的方便访问。它包括一组预定义的API资源类，这些类根据API响应动态初始化自身，从而使其与OpenAI API的各种版本兼容。 阅读全文
摘要：
提示工程是一门相对较新的学科，用于开发和优化提示，以有效地将语言模型（LM）用于各种应用和研究主题。及时的工程技能有助于更好地理解大型语言模型（LLM）的功能和局限性。研究人员使用即时工程来提高LLM在各种常见和复杂任务（如问题解答和算术推理）上的能力。开发人员使用提示工程来设计与LLM和其他工具交互的健壮有效的提示技术。 阅读全文
摘要：
Prompt工程（Prompt-Engineering）是一种用于主动支持和协助工程团队进行及时决策的软件工具。它提供了定量分析工具、多种决策支持方法以及交互式界面，以帮助团队成员更好地理解和评估各种常见的工程风险和决策问题，从而能够更好地做出明智的决策。除此之外，Prompt工程还可以对关键任务和时间表进行监控和预测，以帮助工程团队更好地管理和分配工作量，确保项目顺利完成。——ChatGPT对提示工程的理解 阅读全文
摘要：
主要解决两个问题：
1.socket通讯过程中，常见的demo中容易有粘包现象。
2.There is no current event loop in thread ‘Thread-6’。tornado中实时数据推送时，找不到ioloop对象。 阅读全文
摘要：
8月24日paddleocr发布了2.6.0，之前使用过2.5版本的布局分析，整体比较好用。近期就尝试了一下paddleocr的新版本，记录一下尝鲜经历。2.6版本的公告中指出，布局分析模型缩小了95%，同时速度提升了11倍，在cpu上平均耗时41ms。 打开ppstructure/layout的r 阅读全文
摘要：
工作需要，研究了几天的t2t，万万没想到在虚拟环境的搭建方面出现了问题。 直接安装t2t，当前是1.15.7版本，默认会安装tensorflow的最新版本，最终会在执行t2t-trainer命令的时候报错，错误信息可以很明显的看出这是个版本的冲突问题。 t2t不支持tf2,必须将tf降低版本。我采用 阅读全文