摘要：
此文已由作者袁欢授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 在Docker中安装mongodb 采用的mongodb镜像：https://registry.hub.docker.com/u/tutum/mongodb/ 以该镜像启动一个容器（注意此时mongodb是st 阅读全文
摘要：
此文已由作者袁欢授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 创建docker容器 docker run -it --name=yh -h yh --net=none debian:sshd bash ### 确保使用--net=none参数，此时新建的容器内不会创建网卡 阅读全文
摘要：
此文已由作者袁申授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 有数的数据大屏可以在一块屏幕上展示若干张不同的图表，以炫酷的方式展示各种业务数据。其中有些图表使用CSS实现了饼图轮播、地图标记点闪烁等动画，然而在一张大屏上同时显示了许多张图表时，持续的动画效果有时会出现掉帧 阅读全文
摘要：
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 1.Flink架构及特性分析 Flink是个相当早的项目，开始于2008年，但只在最近才得到注意。Flink是原生的流处理系统，提供high level的API。Flink也提供API来像Spark一样进行批处 阅读全文
摘要：
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 2.Spark Streaming架构及特性分析 2.1 基本架构 基于是spark core的spark streaming架构。 Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里 阅读全文
摘要：
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 任何时候日志都是定位问题的关键，spark也不会例外，合适的配置和获取spark的driver，am，及executor日志将会提升问题定位的效率，这里初步整理了spark的一些配置，更好的日志配置还需要根据实 阅读全文
摘要：
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 Structure Stream访问方式 code examples 结论 basedir = /home/testhdfs支持：mv file to basedir（/home/testhdfs）不支持：mv 阅读全文
摘要：
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 实时计算的一个方向 实时计算未来会成为一个趋势，基本上所有的离线计算任务都能通过实时计算来完成，对于实时计算来算，除了性能，延迟性和吞吐量这些硬指标要求以外，我觉得易用性上面应该是未来的一个发展方向，毕竟现在的 阅读全文
摘要：
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 Flink On Yarn 架构 Paste_Image.png 前提条件首先需要配置YARN_CONF_DIR, HADOOP_CONF_DIR ，HADOOP_CONF_PATH其中一个用来确保Flink能 阅读全文
摘要：
此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 Flink on yarn的启动流程可以参见前面的文章 Flink on Yarn启动流程,下面主要是从源码角度看下这个实现，可能有的地方理解有误，请给予指正，多谢。 --> 1.命令行启动yarn sessi 阅读全文