摘要: 本文由 网易云 发布。 作者:网易/刘勋(本篇文章仅限知乎内部分享,如需转载,请取得作者同意授权。) 面对海量且持续增加的各式各样的数据对象,你是否有信心知道哪些数据从哪里来以及它如何随时间而变化?采用Hadoop必须考虑数据管理的实际情况,元数据与数据治理成为企业级数据湖的重要部分。 为寻求数据治 阅读全文
posted @ 2018-05-09 18:35 网易数帆 阅读(25275) 评论(0) 推荐(0) 编辑
摘要: 本文由 网易云 发布。 作者:张淞(本篇文章仅限知乎内部分享,如需转载,请取得作者同意授权。) 昨夜,网易有数产品经理路过开发的显示屏前见到了类型这样的一张图: 于是想到有数能不能做出这样的图来?作为有数的开发的我在一边思索了一下,开了一下脑洞,结合最近做的网易有数的新功能,觉得可以实现,于是就开始 阅读全文
posted @ 2018-05-09 18:26 网易数帆 阅读(2063) 评论(0) 推荐(0) 编辑
摘要: 本文由 网易云 发布。 作者:汪谦 (本篇文章仅限知乎内部分享,如需转载,请取得作者同意授权。) 企业要想良好经营,必须能留得住客户,最好每个客户都能成为回头客。本篇将介绍如何利用网易有数最近推出的“跨视图粒度计算”来进行回头客分析。 先放几张示例图。 示例一:首次复购间隔月份分布情况,比如箭头所指 阅读全文
posted @ 2018-05-09 18:02 网易数帆 阅读(478) 评论(0) 推荐(0) 编辑
摘要: 本文由 网易云 发布。 作者:汪谦 (本篇文章仅限知乎内部分享,如需转载,请取得作者同意授权。) 在制作可视化报告时,会遇到如下需求:动态显示图表的标题。 如下图所示,右侧图表标题的显示内容会根据左侧选中的数据项发生变化。 当左侧未选中任何省份时,右侧显示全国的销售额,同时标题显示“全国各年销售额” 阅读全文
posted @ 2018-05-09 17:49 网易数帆 阅读(619) 评论(0) 推荐(0) 编辑
摘要: 对本次线下活动感兴趣的朋友,欢迎点击此处报名,领取免费票。 今年3月,Docker刚刚过完5岁生日,五年期间,Docker也逐渐在技术和实践方面趋于成熟,更是在去年年底主动拥抱Kubernetes。 5月19日,网易云将联合Docker官方主办Docker Meetup,邀请业界Docker深度实践 阅读全文
posted @ 2018-05-09 17:40 网易数帆 阅读(421) 评论(0) 推荐(0) 编辑
摘要: 本文由 网易云 发布。 概述 出于对可扩展性和性能的考虑,UDF已变成大数据生态圈查询引擎的必备功能之一,无论是Calcite、Hive、Impala都对其进行支持,但是UDF的支持有利也有弊,好处在于它提供了对某些用户独有需求的支持,例如某些产品需要将表中的某字段使用自定义的方式解析成可读字段,例 阅读全文
posted @ 2018-05-09 16:23 网易数帆 阅读(2336) 评论(0) 推荐(0) 编辑
摘要: 本文由 网易云 发布。 Kudu是Cloudera开源的新型列式存储系统,是Apache Hadoop生态圈的新成员之一(incuba ng),专门为了对快速变化的数据进行快速的分析,填补了以往Hadoop存储层的空缺。本文主要对Kudu的动机、背景,以及架构进行简单介绍。 背景——功能上的空白 H 阅读全文
posted @ 2018-05-09 16:16 网易数帆 阅读(772) 评论(0) 推荐(1) 编辑
摘要: 本文由 网易云 发布。 1 概述 本文主要介绍kudu底层存储引擎的数据组织方式,先看整体结构如下: 一张表会分成若干个tablet , 每个tablet 包括MetaData 元信息及若干个RowSet , RowSet 包含一个MemRowSet 及若干个DiskRowSet , DiskRow 阅读全文
posted @ 2018-05-09 16:05 网易数帆 阅读(1176) 评论(0) 推荐(0) 编辑
摘要: 本文由 网易云 发布。 背景 Cloudera在2016年发布了新型的分布式存储系统——kudu,kudu目前也是apache下面的开源项目。Hadoop生态圈中的技术繁多,HDFS作为底层数据存储的地位一直很牢固。而HBase作为Google BigTable的开源产品,一直也是Hadoop生态圈 阅读全文
posted @ 2018-05-09 16:01 网易数帆 阅读(5325) 评论(0) 推荐(0) 编辑
摘要: 本文由 网易云 发布。 作者:范欣欣(本篇文章仅限内部分享,如需转载,请联系网易获取授权。) 本文由 网易云 发布。 作者:范欣欣(本篇文章仅限内部分享,如需转载,请联系网易获取授权。) Region自动切分是HBase能够拥有良好扩张性的最重要因素之一,也必然是所有分布式系统追求无限扩展性的一副良 阅读全文
posted @ 2018-05-09 15:54 网易数帆 阅读(4719) 评论(0) 推荐(1) 编辑
摘要: 本文由 网易云 发布。 易盾业务风控周报每周呈报值得关注的安全技术和事件,包括但不限于内容安全、移动安全、业务安全和网络安全,帮助企业提高警惕,规避这些似小实大、影响业务健康发展的安全风险。 1.文化部再次审查直播和游戏产品,已下架4939款直播应用 4月17日,国家文化和旅游局发文表示,正在对30 阅读全文
posted @ 2018-05-09 15:39 网易数帆 阅读(137) 评论(0) 推荐(0) 编辑
摘要: 本文由 网易云 发布。 “知物由学”是网易云易盾打造的一个品牌栏目,词语出自汉·王充《论衡·实知》。人,能力有高下之分,学习才知道事物的道理,而后才有智慧,不去求问就不会知道。“知物由学”希望通过一篇篇技术干货、趋势解读、人物思考和沉淀给你带来收获的同时,也希望打开你的眼界,成就不一样的你。当然,如 阅读全文
posted @ 2018-05-09 15:31 网易数帆 阅读(285) 评论(0) 推荐(0) 编辑