Basic Notes for Coding

Interview Prep

Web Development

Search & RecSys & Ads

AI Agent

NLP & LLM

Text Input Preprocessing and Decode

Model Arcitecture

Pre-training

Supervised Fine-tuning(SFT)

Model Preference Alignment

Model Optimization

Cloud Computing: Linux, Git, Docker and Deployment

Summary

Paper Reading Notes

posted @ 2024-01-06 12:14 ForHHeart 阅读(52) 评论(0) 推荐(0) 编辑
摘要: 机器学习的本质 目标函数:Log-likelihood对数似然函数 logL(θ)=i=1nlogP(y|x,θ) 其中, P(y|x,θ):表示似然函数,给定特征 x 和参数 θ,预测类别为 \( 阅读全文
posted @ 2024-11-24 09:27 ForHHeart 阅读(8) 评论(0) 推荐(0) 编辑
摘要: Word2Vec Word2Vec有两种形式,一种是Skip-gram,另一种是CBOW。 Skip-gram:已知中心词 wc,预测上下文词 wo CBOW:已知上下文词 C={wcm,,wc1,wc+1,,wc+m},预测中心词 \ 阅读全文
posted @ 2024-11-24 08:33 ForHHeart 阅读(4) 评论(0) 推荐(0) 编辑
摘要: 1 RecSys 1.1 Evaluation 二分类评估指标有哪些? AUC是什么?怎么画的,怎么计算的? 1.2 Loss BPR Loss是什么? 1.3 Normalization 1.4 Activation Function 1.5 Backward 2 Ads 介绍下Wide & De 阅读全文
posted @ 2024-10-02 14:06 ForHHeart 阅读(8) 评论(0) 推荐(0) 编辑
摘要: 1 Tree 1.1 Recursion 递归三角: node, node.left, node.right构成一个递归三角,即当前节点,左子树,右子树 递: 调用递归函数是用来向下递的 归: return是用来返回给父节点的, 比如return root, return value 边界条件: 用 阅读全文
posted @ 2024-09-23 13:55 ForHHeart 阅读(20) 评论(0) 推荐(0) 编辑
摘要: 前端框架:Next.js UI 组件:Tailwind CSS, Shadcn UI AI 集成:Anthropic Claude API, Anthropic Claude API Keys 1 Next.js 1.1 Initialization 1. For the installation, 阅读全文
posted @ 2024-09-13 13:02 ForHHeart 阅读(32) 评论(0) 推荐(0) 编辑
摘要: 1 Introduction Github: https://github.com/microsoft/DeepSpeed ZeRO: Memory Optimizations Toward Training Trillion Parameter Models ZeRO-Offload: Democ 阅读全文
posted @ 2024-09-07 05:53 ForHHeart 阅读(964) 评论(0) 推荐(0) 编辑
摘要: FastAPI Starlette负责web部分(Asyncio) Pydantic负责数据部分(类型提示) FastAPI是站在前人肩膀上,集成了多种框架的优点的新秀框架。它出现的比较晚,2018年底才发布在github上。广泛应用于当前各种前后端分离的项目开发,测试运维自动化以及微服务的场景中。 阅读全文
posted @ 2024-09-06 01:01 ForHHeart 阅读(8) 评论(0) 推荐(0) 编辑
摘要: 基本原理和概念 Docker是使用Client-Server架构模式,Docker CLient和Docker Daemon之间通过Socket或者RESTful API进行通信。Docker Daemon就是服务端的守护进程,他负责管理Docker的各种资源。Docker Client负责向Doc 阅读全文
posted @ 2024-08-31 23:09 ForHHeart 阅读(9) 评论(0) 推荐(0) 编辑
摘要: 【GeekHour】一小时Git教程 全局配置: # 设置 git config --global user.name "username" git config --global user.email "example@gmail.com" # 查看 git config -l / git con 阅读全文
posted @ 2024-08-29 23:04 ForHHeart 阅读(5) 评论(0) 推荐(0) 编辑
摘要: 1 Word-based Tokenizer 2 Character-based Tokenizer 3 Subword-based Tokenizer 3.1 Byte-Pair Encoding(BPE) Byte-Level BPE 3.2 WordPiece 3.3 Unigram 3.4 阅读全文
posted @ 2024-05-15 00:15 ForHHeart 阅读(135) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示