mengrennwpu

摘要： LLM复读机产生的原因以及对应的解决方案 阅读全文

摘要： 1. 背景 关于Prefix LM和Causal LM的区别，本qiang在网上逛了一翻，发现多数客官只给出了结论，但对于懵懵的本qiang，结果仍是懵懵... 因此，消遣了多半天，从原理及出处，交出了Prefix LM和Causal LM两者区别的更为清楚的说明。 2. Prefix LM Pre 阅读全文

摘要： 最近在看CoT(Chain-of-Thought，思维链)方面的论文《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》，主要解决大模型(100B+参数)在算术计算、常识推理、以及符号操作等涉及推理的场景。 但 阅读全文

摘要： ​ Meta AI在2022年5月3日新发布的OPT-175B模型，该模型是现阶段第一个模型参数超过千亿级别的开放模型，其次该模型与GPT-3相比，更加开放及便于访问。 具体开放性表现在如下几个方面： 1. 论文: 提供了某些能力是可能的存在证明，并揭示可以建立在此基础上的一般思想 2. API访问 阅读全文

摘要： 1. 背景 (1) 业务方提供了一台有GPU的服务器，且已经安装了显卡等组件，cuda版本10.2，具体信息如下 (2) 在裸机上部署anaconda、pytorch、tensorflow较为麻烦，因此打算在docker中执行pytorch和tensorflow任务 2. 部署及使用 2.1 先决条 阅读全文

摘要： 1. 背景 DBA同事反馈说Mongp集群磁盘占用空间过大，超过监控告警95%阈值，因此建议删除部分资源或者申请扩容，本着开源节流的理念，还是乖乖看哪些老数据应该删除。但Mongo中的库和表过多，因此如何进行统计？ 2. MongoDB库表占用空间统计 其实，MongoDB中库表的占用空间统计方式N 阅读全文

摘要： 1. 背景 (1) 客户反映es查询只能返回10000个数据，而需求时返回1.9W个数据，因此需要设置对应索引的默认返回数index.max_result_window (2) 给客户部署的服务以docker-compose启动，其配置文件docker-compose.yml文件如下，其中es版本为 阅读全文

摘要： 1. 背景 业务方的服务器经安全检查，发现以docker容器启动的mongo未增加鉴权的漏洞，随优化之 2. 配置 mongo以docker compose方式启动，镜像的版本号为4.2.6，docker-compose.yml配置文件内容如下： version: '2' services: mon 阅读全文

摘要： 1. 基本数据类型 对于Hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储2GB的字符数 Hive数据类型 Java数据类型 长度 例子 TINYINT byte 1byte有符号整数 20 SMALINT 阅读全文

摘要： 本文的安装版本为Hive 3.1.2，且安装为单节点。 1. 安装参考及注意事项 (1) 官网：http://hive.apache.org/ (2) 上篇博客：Hadoop 3.1.3伪分布式环境安装Hive 3.1.2的异常总结 2. 常见属性配置 (1) Hive数据仓库位置 1) defau 阅读全文