大数据流动

摘要： 在hadoop执行删除文件命令 如果不带 -skipTrash 文件是进入了回收站 空间并不会被释放 会隔一段时间才被删除 设置该时间位置为： core-site.xml fs.trash.interval 360 单位是分钟 360意思是会在6个小时后清空回收站 阅读全文

摘要： 直接删除目录（不放入回收站） hdfs dfs -rm -skipTrash /tmp/aaa 清空回收站 hdfs dfs -expunge 执行完命令后，回收站的数据会在一分钟后清除。 阅读全文

摘要： Apache Superset最近发布了1.0.1版本，这也是1.0版本后的有一个重大的版本，Superset也会在以后有更多的改进。那么让我们来看一下最新的新功能吧。 用户体验 通过更简单，更直观的UI将Superset用户体验提升到了新的水平。 现在可以使用缩略图网格的方式来显示图表和仪表板列表 阅读全文

摘要： Atlas的权限控制非常的丰富，本文将进行其支持的各种权限控制的介绍。 在atlas-application.properties配置文件中，可以设置不同权限的开关。 atlas.authentication.method.kerberos=true|false atlas.authenticati 阅读全文

摘要： Atlas集成Hive 在安装好Atlas以后，如果想要使用起来，还要让Atlas与其他组件建立联系。 其中最常用的就是Hive。 通过Atlas的架构，只要配置好Hive Hook ，那么每次Hive做任何操作就会写入Kafka从而被atlas接收。 并在Atlas中已图的形式展示出来。 Hive 阅读全文

摘要： 在完成Atlas编译以后，就可以进行Atlas的安装了。Atlas的安装主要是安装Atlas的Server端，也就Atlas的管理页面，并确保Atlas与Kafka Hbase Solr等组件的集成。 Atlas的系统架构如下，在确保 底层存储与UI界面正常后，之后就可以进行与Hive等组件的集成调 阅读全文

摘要： 为什么要做数据治理？ 业务繁多，数据繁多，业务数据不断迭代。人员流动，文档不全，逻辑不清楚，对于数据很难直观理解，后期很难维护。 在大数据研发中，原始数据就有着非常多的数据库，数据表。 而经过数据的聚合以后，又会有很多的维度表。如果想要对这些数据做好管理，光用文字、文档等东西是不够的，必须用图。 A 阅读全文

摘要： 数据治理意义重大，传统的数据治理采用文档的形式进行管理，已经无法满足大数据下的数据治理需要。而适合于Hadoop大数据生态体系的数据治理就非常的重要了。 ​ 大数据下的数据治理作为很多企业的一个巨大的难题，能找到的数据的解决方案并不多，但是好在近几年，很多公司已经进行了尝试并开源了出来，本文将详细分 阅读全文

摘要： ​ 获取PDF版本 请关注“实时流式计算” 后台回复 “flink1015” 阅读全文

摘要： 对于经常使用Kafka的同学，拥有一个炫酷又实用的监控系统是非常有必要的。可以实时的监控数据流的情况，了解实时数据流的变化。 Kafka Eagle Kafka Eagle是一个监控系统，监控Kafka群集以及偏移量，消费者等等。 通过Kafka Eagle可以看到当前的消费者组，对于每个组，他们正 阅读全文