07 2022 档案

摘要:大家好,我是独孤风。 2022年已过去一半多的时间了。这半年多,我们重点关注了LinkedIn Datahub、Atlas等元数据管理工具,了解了他们在数据治理领域的作用。 也关注了Apache Griffin等数据质量工具的使用。 但是,在数据工程领域这只是冰山一角,近期lakeFS高级工程师Ei 阅读全文
posted @ 2022-07-26 10:36 独孤风 阅读(704) 评论(0) 推荐(0) 编辑
摘要:2022年7月21日,大家都被一则新闻刷屏了。 经查实,滴滴全球股份有限公司违反《网络安全法》《数据安全法》《个人信息保护法》的违法违规行为事实清楚、证据确凿、情节严重、性质恶劣。 7月21日,国家互联网信息办公室依据《网络安全法》《数据安全法》《个人信息保护法》《行政处罚法》等法律法规,对滴滴全球 阅读全文
posted @ 2022-07-22 17:21 独孤风 阅读(501) 评论(0) 推荐(0) 编辑
摘要:最近一直在思考几个问题: 数据治理到底该如何学? 先学理论还是先学技术? 如何衡量自己数据治理学习的好坏程度? 有没有一些考试可以验证自己的学习成果? 如果需要招聘一个数据治理的专业人员,除了证书还应该考察他的什么能力? 有哪些书籍是学习数据治理适合阅读的? 如果要学习数据治理理论,应该如何是怎样的 阅读全文
posted @ 2022-07-21 11:15 独孤风 阅读(1513) 评论(0) 推荐(0) 编辑
摘要:​ Superset终于迎来了又一个重大的版本更新。使用superset已经近三年的时间了,其为我们提供了数据可视化的解决方案。也成为了最好的商用BI的替代方案。 ​ 在Github上本次更新已经发布。 Pip相关软件包也已经发布。 ​ 2.0版本主要更新: 默认启用Explore控制面板中的拖放界 阅读全文
posted @ 2022-07-20 11:09 独孤风 阅读(2404) 评论(0) 推荐(0) 编辑
摘要:开源数据质量管理工具预研——Griffin VS Deequ VS Great expectations VS Qualitis。 概述 ​ 数据质量监控(DQC)是最近很火的一个话题,也是数据治理中最重要的一环。有一句话说得好。数据质量未必是数据治理中最重要的一部分,但是数据质量可能是让数据治理工 阅读全文
posted @ 2022-07-18 09:48 独孤风 阅读(3666) 评论(0) 推荐(1) 编辑
摘要:提到格里芬—Griffin,大家想到更多的是篮球明星或者战队名,但在大数据领域Apache Griffin(以下简称Griffin)可是数据质量领域响当当的一哥。先说一句:Griffin是大数据质量监控领域唯一的Apache项目,懂了吧。 ​ 在不重视数据质量的大数据发展时期,Griffin并不能引 阅读全文
posted @ 2022-07-15 13:20 独孤风 阅读(3923) 评论(0) 推荐(0) 编辑
摘要:​ 元数据管理平台Datahub最近的热度越来越高。已经更新到了0.8.40的版本,来咨询我的小伙伴也越来越多,特别是安装过程有很多问题。 ​ 考虑到有些企业部分数据服务是部署在内网的,那么离线安装Datahub就显得非常重要了。 而且对于在线安装遇到很多问题的情况,或者是网络不好的情况,用离线安装 阅读全文
posted @ 2022-07-07 15:50 独孤风 阅读(1596) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示