程序员的故乡

 

2024年7月30日

手撸一个C++迭代器

摘要: 先撸一个简单版本 C++语言的特点就是少了一个符号都会造成非常不同的结果。以下代码有个很致命的错误,不知道能否一眼看出来。 // ranges_iterators.cpp : 此文件包含 "main" 函数。程序执行将在此处开始并结束。 // #include <iostream> #include 阅读全文

posted @ 2024-07-30 20:40 程鑫 阅读(8) 评论(0) 推荐(0) 编辑

ClickHouse的向量处理能力

摘要: ClickHouse的向量处理能力 ClickHouse通过其强大的向量数据库功能,实现了高效的高维向量数据处理和搜索。这些功能包括支持余弦距离和欧几里得距离的相似度计算,以及近似最近邻搜索(如Annoy索引),极大地提升了性能和效率。通过将非结构化数据转换为向量,ClickHouse在推荐系统、问答系统、图像和视频搜索等领域展现了显著的应用价值。这种能力不仅提高了数据处理的精确度,还在大规模数据处理中实现了良好的性能与精确度平衡。 阅读全文

posted @ 2024-07-30 20:25 程鑫 阅读(237) 评论(2) 推荐(1) 编辑

2024年6月1日

STL库的ranges

摘要: C++20的 阅读全文

posted @ 2024-06-01 22:45 程鑫 阅读(8) 评论(0) 推荐(0) 编辑

2024年3月17日

ClickHouse中的各种设置

摘要: ClickHouse中的各种设置 ClickHouse中的设置有几百个,下面对这些设置做了一个简单的分类。 阅读全文

posted @ 2024-03-17 22:35 程鑫 阅读(6) 评论(0) 推荐(0) 编辑

OLAP与数据仓库和数据湖

摘要: OLAP与数据仓库和数据湖 本文阐述了OLAP、数据仓库和数据湖方面的基础知识以及相关论文。同时记录了我如何通过ChatGPT以及类似产品(通义千问、文心一言)来学习知识的。通过这个过程让我对于用AI科技提升学习和工作效率有了实践经验和切身感受。 预热 GPT> 你现在是一位OLAP的专家。 OLA 阅读全文

posted @ 2024-03-17 22:33 程鑫 阅读(66) 评论(0) 推荐(0) 编辑

mmap访问内存方式

摘要: mmap访问内存方式 请看下面的Java代码,这段程序是取自1brc竞赛的第一名的代码。 public static void main(String[] args) throws IOException, InterruptedException { ... ... try (var fileCh 阅读全文

posted @ 2024-03-17 22:29 程鑫 阅读(9) 评论(0) 推荐(0) 编辑

关于ClickHouse的一些小技巧

摘要: 关于ClickHouse的一些小技巧 设置变量 set param_name='Alex'; select {name:String}; projection的使用 基于projection(投影)的优化需要打开开关optimize_use_projections。ClickHouse里的proje 阅读全文

posted @ 2024-03-17 22:28 程鑫 阅读(45) 评论(0) 推荐(0) 编辑

`static_cast` caution

摘要: static_cast caution It is likely to lead unexpected behavior and maybe dangerous to invoke static_cast on wrong C++ object. Below example demostrates 阅读全文

posted @ 2024-03-17 22:28 程鑫 阅读(2) 评论(0) 推荐(0) 编辑

2024年1月21日

ClickHouse中“大列”造成的JOIN的内存超限问题

摘要: “大列”是指单行数据量非常大的列,通常是100KiB以上。这样的列会导致JOIN(通常LEFT JOIN 和 INNER JOIN)出现内存超限的异常。本文讨论如何解决这个问题。 阅读全文

posted @ 2024-01-21 19:00 程鑫 阅读(384) 评论(1) 推荐(1) 编辑

2024年1月8日

ClickHouse的JOIN算法选择逻辑以及auto选项

摘要: Setting配置join_algorithm用于指定JOIN算法,它可以设置为多个值,例如join_algorithm='direct,hash,partial_merge'。在选择最终JOIN算法的时候是根据setting配置join_algorithm, 以及JOIN操作的Strictness、Kind和参与JOIN的右表表引擎类型共同决定。 阅读全文

posted @ 2024-01-08 17:59 程鑫 阅读(179) 评论(0) 推荐(0) 编辑

导航