clickhouse sql优化笔记

1.order by sort_field  limit 1 by group_f1, group_f2

sql目的：根据group_f1,group_f2去重并按照sort_field排序保留第一个

当数据量很大时，order by 操作非常慢而且占用内存很大，容易导致oom

优化方案：可以先分组，组内找到排序字段最小值，然后筛选

select *
from t
where (group_f1,group_f2, sort_field) in (
    select account_id, seller_sku, min(sort_field) min_sort_field
    from t
    group by group_f1,group_f2
)