随笔分类 - 大模型
摘要：elasticsearch docker run -d --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsear
阅读全文
摘要：知乎 BGE paper RetroMAE paper BGE github地址 huagging face
阅读全文
摘要：参考：https://www.cnblogs.com/buchizicai/p/17093719.html
阅读全文
摘要：https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-reasoning-llms
阅读全文
摘要：目录 https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-mixture-of-experts
阅读全文
摘要：1. 参考 M3-Embedding https://github.com/FlagOpen/FlagEmbedding https://arxiv.org/pdf/2402.03216 https://huggingface.co/BAAI/bge-m3 2. Dense retrieval im
阅读全文
摘要：目录1. 参考2. 概述重复惩罚（Repetition Penalty） 1. 参考 https://mp.weixin.qq.com/s/mBZA6PaMotJw7WeVdA359g 2. 概述 大型语言模型（LLMs）通过“根据上下文预测下一个 token 的概率分布”来生成文本。最简单的采样方
阅读全文
摘要：1. 参考 https://blog.csdn.net/voiiid/article/details/114825246 https://blog.csdn.net/shizheng_Li/article/details/144140912 2. 半精度浮点fp16 这两种数据类型编程是经常遇见 双
阅读全文
摘要：目录1. 参考2. 回顾 FlashAttention V1V2Efficient Memory Attentionxformers 1. 参考 https://zhuanlan.zhihu.com/p/642962397 2. 回顾 FlashAttention V1 softmax稳定版 Fla
阅读全文
