摘要:
用户画像 从用户画像的数据架构谈需要掌握的大数据模块和开发语言 日全量数据表中,每天对应的日期分区中插入截止到当天为止的全量数据,用户使用查询时,只需查询最近一天即可获得最新全量数据。 下面以一个具体的日全量表结构例子来做说明。 这里tagid表示标签名称,userid表示用户id,tagweigh 阅读全文
摘要:
Kettle是一款开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。 Kettle工程存储方式 1) 以XML形式存储 2) 以资源库方式存储(数据库资源库和文件资源库) Kettle的两种设计 Kettle的组成 kettle特点 k 阅读全文
摘要:
1. ClickHouse概述 ClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库(DBMS),主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告 https://clickhouse.yandex/docs/zh/ 官网:https://clic 阅读全文