读数据工程之道：设计和构建健壮的数据系统34读后总结与感想兼导读
1. 基本信息
数据工程之道：设计和构建健壮的数据系统
-
[美]乔·里斯(Joe Reis),[美]马特·豪斯利(Matt Housley)著
-
机械工业出版社,2024年2月出版
1.1. 读薄率
书籍总字数473千字，笔记总字数109584字。
读薄率109584÷473000≈23.17%
1.2. 读厚方向
-
Data Mesh权威指南
-
数据的边界：隐私与个人数据保护
-
数据保护：工作负载的可恢复性
-
数据质量管理：数据可靠性与数据质量问题解决之道
-
Julia数据科学应用
-
MLOps权威指南
-
数据自助服务实践指南：数据开放与洞察提效
-
商战数据挖掘：你需要了解的数据科学与分析思维
-
Spark快速大数据分析（第2版）
1.3. 笔记--章节对应关系
| 笔记 | 章节 | 字数 | 发布日期 2024年 |
| 读数据工程之道：设计和构建健壮的数据系统01数据工程概述 | 第1章 数据工程概述 | 4170 | 10月7日 |
| 读数据工程之道：设计和构建健壮的数据系统02数据工程师 | 第1章 数据工程概述 | 5096 | 10月8日 |
| 读数据工程之道：设计和构建健壮的数据系统03数据工程生命周期（上） | 第2章 数据工程生命周期 | 2423 | 10月9日 |
| 读数据工程之道：设计和构建健壮的数据系统04数据工程生命周期（下） | 第2章 数据工程生命周期 | 3962 | 10月10日 |
| 读数据工程之道：设计和构建健壮的数据系统05底层设计（上） | 第2章 数据工程生命周期 | 3867 | 10月11日 |
| 读数据工程之道：设计和构建健壮的数据系统06底层设计（下） | 第2章 数据工程生命周期 | 2921 | 10月12日 |
| 读数据工程之道：设计和构建健壮的数据系统07数据架构的原则 | 第3章 设计好的数据架构 | 4915 | 10月13日 |
| 读数据工程之道：设计和构建健壮的数据系统08主要架构概念 | 第3章 设计好的数据架构 | 2410 | 10月14日 |
| 读数据工程之道：设计和构建健壮的数据系统09示例和类型 | 第3章 设计好的数据架构 | 2597 | 10月15日 |
| 读数据工程之道：设计和构建健壮的数据系统10技术选择 | 第4章 根据数据生命周期选择技术 | 3041 | 10月16日 |
| 读数据工程之道：设计和构建健壮的数据系统11云经济学 | 第4章 根据数据生命周期选择技术 | 3470 | 10月17日 |
| 读数据工程之道：设计和构建健壮的数据系统12开源软件 | 第4章 根据数据生命周期选择技术 | 3056 | 10月18日 |
| 读数据工程之道：设计和构建健壮的数据系统13无服务器 | 第4章 根据数据生命周期选择技术 | 2518 | 10月19日 |
| 读数据工程之道：设计和构建健壮的数据系统14源系统 | 第5章 源系统中的数据生成 | 3031 | 10月20日 |
| 读数据工程之道：设计和构建健壮的数据系统15源系统实际细节（上） | 第5章 源系统中的数据生成 | 2697 | 10月21日 |
| 读数据工程之道：设计和构建健壮的数据系统16源系统实际细节（下） | 第5章 源系统中的数据生成 | 3109 | 10月22日 |
| 读数据工程之道：设计和构建健壮的数据系统17存储的原材料 | 第6章 存储 | 3762 | 10月23日 |
| 读数据工程之道：设计和构建健壮的数据系统18数据存储系统(上） | 第6章 存储 | 2806 | 10月24日 |
| 读数据工程之道：设计和构建健壮的数据系统19数据存储系统 (下） | 第6章 存储 | 2674 | 10月25日 |
| 读数据工程之道：设计和构建健壮的数据系统20数据工程存储抽象 | 第6章 存储 | 3988 | 10月26日 |
| 读数据工程之道：设计和构建健壮的数据系统21数据获取 | 第7章 获取 | 2665 | 10月27日 |
| 读数据工程之道：设计和构建健壮的数据系统22获取阶段考虑因素 | 第7章 获取 | 2777 | 10月28日 |
| 读数据工程之道：设计和构建健壮的数据系统23批量获取的考虑因素 | 第7章 获取 | 2268 | 10月29日 |
| 读数据工程之道：设计和构建健壮的数据系统24获取数据的方式 | 第7章 获取 | 3446 | 10月30日 |
| 读数据工程之道：设计和构建健壮的数据系统25查询 | 第8章 查询、建模和转换 | 3767 | 11月2日 |
| 读数据工程之道：设计和构建健壮的数据系统26数据建模 | 第8章 查询、建模和转换 | 3448 | 11月3日 |
| 读数据工程之道：设计和构建健壮的数据系统27转换 | 第8章 查询、建模和转换 | 4842 | 11月4日 |
| 读数据工程之道：设计和构建健壮的数据系统28数据服务常见关注点 | 第9章 为分析、机器学习和反向ETL提供数据服务 | 2712 | 11月5日 |
| 读数据工程之道：设计和构建健壮的数据系统29分析 | 第9章 为分析、机器学习和反向ETL提供数据服务 | 4110 | 11月6日 |
| 读数据工程之道：设计和构建健壮的数据系统30机器学习 | 第9章 为分析、机器学习和反向ETL提供数据服务 | 3848 | 11月7日 |
| 读数据工程之道：设计和构建健壮的数据系统31安全和隐私 | 第10章 安全和隐私 | 3900 | 11月8日 |
| 读数据工程之道：设计和构建健壮的数据系统32序列化和云网络 | 附录A 序列化和压缩技术的细节 附录B 云网络 |
2344 | 11月9日 |
| 读数据工程之道：设计和构建健壮的数据系统33未来 | 第11章 数据工程的未来 | 2944 | 11月10日 |
| $ | 总计 | 109584 | $ |
2. 亮点
2.1 详述什么叫数据工程
-
数据工程不同于软件工程
-
有自己的特色、特点
2.2 流和批处理的比较
- 批处理源远流长
- 但是流技术的发展，渐渐有取代之势
- 还有微批处理
2.3 数据分层和冷热
- 根据数据冷热不同进行数据分层
- 不同温度的数据处于不同的层次
- 说到底，就是具体数据具体分析
2.4 数据工程师和其他角色的关系和区别
-
描述了数据工程师的主要工程
-
同时也指出了不同角色和数据工程师之间的关系和区别
- 尤其是数据科学家和软件工程师
3. 感想
3.1 这个笔记好长啊
- 如果没有记错的话，这个更新时长和字数，应该是除了学中项、高项之外的最多的笔记了
3.2 随着数据的不断增长，数据工程出现了
-
事物的发展都是有一个过程的
-
数据不到一定的级别，一定的量级，数据工程不会出现
-
数据工程有自己的规律和规则，需要根据自身的情况实施
3.3 既要适应现实需求，又要有一定的前瞻性
-
在进行数据工程时，既要根据该工程的实际情况选择合适的工具和架构以及系统构建
-
同时，也要有一定的前瞻性，用于适应未来的变化
-
但是，也不同太超前了，太超前了也往往意味着失败，过犹不及
