聊聊大模型的屏蔽词工程
转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote 概述 在做微调训练时，鉴于业务场景的需要，可能会存在微调数据集中含有敏感词汇，譬如：自杀、跳楼等。而开源模型可能没有做敏感词汇的屏蔽工程。因此可能就会出现不可预控的现象，而我遇到的是，当我输入敏感词汇时，模 ...
美团二面：如何保证Redis与Mysql双写一致性？连续两个面试问到了！
在分布式系统中，保证缓存与数据库双写一致性，采用“先操作数据库后处理缓存”的策略。读操作时，先查缓存再查数据库并回填；更新时，先更新数据库，通过binlog异步删除缓存 ...
实战：如何编写一个 OpenTelemetry Extensions
前言 前段时间我们从 SkyWalking 切换到了 OpenTelemetry ，与此同时之前使用 SkyWalking 编写的插件也得转移到 OpenTelemetry 体系下。 我也写了相关介绍文章： 实战：如何优雅的从 SkyWalking 切换到 OpenTelemetry 好在 Open ...
InnoDB常用锁总结（行锁、间隙锁、临键锁、表锁）
相关文章 数据库系列：MySQL慢查询分析和性能优化 数据库系列：MySQL索引优化总结（综合版） 数据库系列：高并发下的数据字段变更 数据库系列：覆盖索引和规避回表 数据库系列：数据库高可用及无损扩容 数据库系列：使用高区分度索引列提升性能 数据库系列：前缀索引和索引长度的取舍 数据库系列：MyS ...
Python中两种网络编程方式：Socket和HTTP协议
本文将介绍Python中两种主要的网络编程方式：Socket编程和基于HTTP协议的网络编程，并通过实际案例来演示它们的应用。 ...
async/await 贴脸输出，这次你总该明白了
出来混总是要还的 最近在准备记录一个.NET Go核心能力的深度对比， 关于.NET/Go的异步实现总感觉没敲到点上。 async/await是.NET界老生常谈的话题，每至于此，状态机又是必聊的话题，但是状态机又是比较晦涩难懂的话题。 [一线码农大佬]在博客园2020年写的《await,async ...
一周涨 15k Star 的开源项目「GitHub 热点速览」
你训练大语言模型（LLM）用的什么框架？有没有想过不用框架训练 GPT-2？ GitHub 上就有这么一位大神（Andrej Karpathy），他仅用大约 1k 行的 C 代码就完成了 GPT-2 模型的训练，代码纯手撸、不依赖任何机器学习框架，作者这么做仅仅是觉得很有趣。尽管这个项目（llm.c ...
面试官：说一说CyclicBarrier的妙用！我：这个没用过
写在开头 面试官：同学，AQS的原理知道吗？ 我：学过一点，抽象队列同步器，Java中很多同步工具都是基于它的... 面试官：好的，那其中CyclicBarrier学过吗？讲一讲它的妙用吧 我：啊，这个，这个我平时写代码没用过... 面试官：那你回去再学学吧！ 随着Java的国内竞争环境逐渐激烈，面 ...
MySQL—MySQL架构
本文介绍了MySQL的架构，连接器、管理和控制工具、连接池、SQL接口、解析器、查询优化器、存储引擎等。并介绍了日志文件和数据文件。 ...
分享一款嵌入式开源按键框架代码工程MultiButton
一、工程简介 MultiButton 是一个小巧简单易用的事件驱动型按键驱动模块。 Github地址：https://github.com/0x1abin/MultiButton 这个项目非常精简，只有两个文件： （1）可无限扩展按键； （2）按键事件的回调异步处理方式可以简化程序结构，去除冗余的按 ...
Scratch3之AI集成 - flappy bird AI版本
AI神秘且有趣，我们以一个经典的游戏flappy bird集成AI，实现自训练成长的聪明的笨鸟。先上效果： 初始化的笨鸟拥有分身，每个分身都有自我学习功能，根据自己的移动轨迹和得分情况进行汇总，进行新一代的笨鸟的迭代，基本经过数十轮的训练和迭代，能完成高智慧的笨鸟，自我闯关能力强。 需要了解的AI知 ...
正则表达式中 “$” 并不是表示 “字符串结束
作者：Seth Larson 译者：豌豆花下猫@Python猫 英文：Regex character “$” doesn't mean “end-of-string” 转载请保留作者及译者信息！ 这篇文章写一写我最近在用 Python 的正则表达式模块（re）开发 CPython 的 SBOM 工具 ...
一个.NET开源的功能丰富、灵活易用的 Windows 窗口增强神器
前言 通常情况下 Windows 中的软件窗口界面一般只包含还原、移动、大小、最大化、最小化、关闭等几个基本的操作： 今天大姚给大家推荐一个.NET开源、免费（MIT License）、功能丰富、灵活易用、小巧（不到1M）的 Windows 窗口增强工具：SmartSystemMenu。 工具介绍 ...
实时数仓构建：Flink+OLAP查询的一些实践与思考
以Flink为主的计算引擎配合OLAP查询分析引擎组合进而构建实时数仓**，其技术方案的选择是我们在技术选型过程中最常见的问题之一。也是很多公司和业务支持过程中会实实在在遇到的问题。
很多人一提起实时数仓，就直接大谈特谈Hudi，Flink的流批一体等，但实际上，**实时数仓包括任何架构体系的构建如... ...
低开开发笔记(二)：低代码编辑器基本原理
好家伙, 完整代码已开源 https://github.com/Fattiger4399/ph-questionnaire.git 本片我们来讲述 如何将dsl的数据渲染为视图 1.数据格式 dsl: { component: 'div', wid: 0, props: { }, style: { ...
Linux systemd 定时任务
哈喽大家好，我是咸鱼。 说到 Linux 定时任务，大家用得最多的就是 crond 服务，但其实 systemd 也有类似的功能。我们不但可以通过 systemd 来管理服务，还能设置定时任务，那就是 systemd timer。 与 crond 相比，systemd 定时任务具有以下优点： 更高的 ...
4A 安全之授权：编程的门禁，你能解开吗？
概述 在安全管理系统里面，授权（Authorization）的概念常常是和认证（Authentication）、账号（Account）和审计（Audit）一起出现的，并称之为 4A。就像上一文章提到的，对于安全模块的实现，最好都遵循行业标准和最佳实践，授权也不例外。 作为安全系统的一部分，授权的职责 ...
Pytorch DistributedDataParallel（DDP）教程二：快速入门实践篇
一、简要回顾DDP 在上一篇文章中，简单介绍了Pytorch分布式训练的一些基础原理和基本概念。简要回顾如下： 1，DDP采用Ring-All-Reduce架构，其核心思想为：所有的GPU设备安排在一个逻辑环中，每个GPU应该有一个左邻和一个右邻，设备从它的左邻居接收数据，并将数据汇总后发送给右邻。 ...
Canvas图形编辑器-数据结构与History(undo/redo)
Canvas图形编辑器-数据结构与History(undo/redo) 这是作为 社区老给我推Canvas，于是我也学习Canvas做了个简历编辑器 的后续内容，主要是介绍了对数据结构的设计以及History能力的实现。 在线编辑: https://windrunnermax.github.io/C ...
利用PyTorch训练模型识别数字+英文图片验证码
利用PyTorch训练模型识别数字+英文图片验证码 摘要：使用深度学习框架PyTorch来训练模型去识别4-6位数字+字母混合图片验证码（我们可以使用第三方库captcha生成这种图片验证码或者自己收集目标网站的图片验证码进行针对训练）。 一、制作训练数据集 我们可以把需要生成图片的一些参数放在se ...
