摘要: 此文已由作者易国强授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 传统的properties读取方式 一般的,我们都可以自定义一个xxx.properties文件,然后在工程的xml配置文件中注入相关的配置bean,示例如下:<context:property-placeh 阅读全文
posted @ 2018-10-31 17:56 tianshidan1998 阅读(471) 评论(0) 推荐(0) 编辑
摘要: 此文已由作者易国强授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 为什么选择log4j2 log4j2相比于log4j1.x和logback来说,具有更快的执行速度。同时也支持日志的异步写入。还有很多有趣的特性,大家可以参考官方文档在这篇文章里,对比描述了log4j2的优点 阅读全文
posted @ 2018-10-31 15:45 tianshidan1998 阅读(338) 评论(0) 推荐(0) 编辑
摘要: 此文已由作者易国强授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 自定义视图解析 在默认情况下Spring Boot 的MVC框架使用的视图解析ViewResolver类是ContentNegotiatingViewResolver,这个解析器比较智能,它会根据你的请求类型 阅读全文
posted @ 2018-10-31 15:35 tianshidan1998 阅读(1065) 评论(0) 推荐(0) 编辑
摘要: 此文已由作者易国强授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 明确功能,各司其职 在一个结构清晰的项目中,一个没有module划分的结构显然不是最佳实践。有人会说可以在同一个Project中定义不同的包名及包路径来做区分,但这样当功能复杂后并不可取。当然,如果你的项目足 阅读全文
posted @ 2018-10-31 15:30 tianshidan1998 阅读(2396) 评论(0) 推荐(0) 编辑
摘要: 此文已由作者易国强授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 1 btrace简介 BTrace是一个非常不错的java诊断工具。BTrace 中的B表示bytecode,它是在字节码层面上对代码进行trace ,通过在运行中的java类中注入trace代码, 并对运行 阅读全文
posted @ 2018-10-31 15:26 tianshidan1998 阅读(298) 评论(0) 推荐(0) 编辑
摘要: 此文已由作者朱笑天授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 笔者在工作之余阅读了一下高性能mysql,以下的内容对mysql的介绍以及书中涉及一些概念的总结归纳。 1.mysql架构 1.最上层负责链接处理、认证授权、安全等 2.中间一层涵盖了mysql的大多数核心功 阅读全文
posted @ 2018-10-31 15:10 tianshidan1998 阅读(159) 评论(0) 推荐(0) 编辑
摘要: 此文已由作者朱笑天授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 一、使用docker commit命令制作docker镜像 1. pull一个centos6.6的基础镜像,并运行一个docker container,然后在其中进行定制化(安装、配置服务等); [root@ 阅读全文
posted @ 2018-10-31 15:06 tianshidan1998 阅读(453) 评论(0) 推荐(0) 编辑
摘要: 此文已由作者袁欢授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 1. AWS AutoScaling简介 AutoScaling是AWS的一个重要服务,用来弹性的自动创建(ScaleUp)或者删除(ScaleDown)EC2虚拟机,并且Scale的策略完全是用户自定义的、或 阅读全文
posted @ 2018-10-31 14:55 tianshidan1998 阅读(203) 评论(0) 推荐(0) 编辑
摘要: 此文已由作者袁欢授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 部署方式在3台centos6.6系统上以Replica Set方式部署mongodb3.0.2集群。 官方参考资料: http://docs.mongodb.org/manual/tutorial/deploy 阅读全文
posted @ 2018-10-31 14:50 tianshidan1998 阅读(390) 评论(0) 推荐(0) 编辑
摘要: 此文已由作者袁欢授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 在Docker中安装mongodb 采用的mongodb镜像:https://registry.hub.docker.com/u/tutum/mongodb/ 以该镜像启动一个容器(注意此时mongodb是st 阅读全文
posted @ 2018-10-31 14:40 tianshidan1998 阅读(2752) 评论(0) 推荐(0) 编辑
摘要: 此文已由作者袁欢授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 创建docker容器 docker run -it --name=yh -h yh --net=none debian:sshd bash ### 确保使用--net=none参数,此时新建的容器内不会创建网卡 阅读全文
posted @ 2018-10-31 14:31 tianshidan1998 阅读(1242) 评论(0) 推荐(0) 编辑
摘要: 此文已由作者袁申授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 有数的数据大屏可以在一块屏幕上展示若干张不同的图表,以炫酷的方式展示各种业务数据。其中有些图表使用CSS实现了饼图轮播、地图标记点闪烁等动画,然而在一张大屏上同时显示了许多张图表时,持续的动画效果有时会出现掉帧 阅读全文
posted @ 2018-10-31 14:10 tianshidan1998 阅读(1149) 评论(0) 推荐(0) 编辑
摘要: 此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 1.Flink架构及特性分析 Flink是个相当早的项目,开始于2008年,但只在最近才得到注意。Flink是原生的流处理系统,提供high level的API。Flink也提供API来像Spark一样进行批处 阅读全文
posted @ 2018-10-31 13:56 tianshidan1998 阅读(320) 评论(0) 推荐(0) 编辑
摘要: 此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 2.Spark Streaming架构及特性分析 2.1 基本架构 基于是spark core的spark streaming架构。 Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里 阅读全文
posted @ 2018-10-31 13:50 tianshidan1998 阅读(270) 评论(0) 推荐(0) 编辑
摘要: 此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 任何时候日志都是定位问题的关键,spark也不会例外,合适的配置和获取spark的driver,am,及executor日志将会提升问题定位的效率,这里初步整理了spark的一些配置,更好的日志配置还需要根据实 阅读全文
posted @ 2018-10-31 13:40 tianshidan1998 阅读(454) 评论(0) 推荐(0) 编辑
摘要: 此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 Structure Stream访问方式 code examples 结论 basedir = /home/testhdfs支持:mv file to basedir(/home/testhdfs)不支持:mv 阅读全文
posted @ 2018-10-31 13:31 tianshidan1998 阅读(648) 评论(0) 推荐(0) 编辑
摘要: 此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 实时计算的一个方向 实时计算未来会成为一个趋势,基本上所有的离线计算任务都能通过实时计算来完成,对于实时计算来算,除了性能,延迟性和吞吐量这些硬指标要求以外,我觉得易用性上面应该是未来的一个发展方向,毕竟现在的 阅读全文
posted @ 2018-10-31 13:26 tianshidan1998 阅读(198) 评论(0) 推荐(0) 编辑
摘要: 此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 Flink On Yarn 架构 Paste_Image.png 前提条件首先需要配置YARN_CONF_DIR, HADOOP_CONF_DIR ,HADOOP_CONF_PATH其中一个用来确保Flink能 阅读全文
posted @ 2018-10-31 13:01 tianshidan1998 阅读(1051) 评论(0) 推荐(0) 编辑
摘要: 此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 Flink on yarn的启动流程可以参见前面的文章 Flink on Yarn启动流程,下面主要是从源码角度看下这个实现,可能有的地方理解有误,请给予指正,多谢。 --> 1.命令行启动yarn sessi 阅读全文
posted @ 2018-10-31 12:44 tianshidan1998 阅读(905) 评论(0) 推荐(0) 编辑
摘要: 此文已由作者岳猛授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 第一种,直接通过IDEA WINDOWS调试 前提是Flink所有依赖已经导入,直接在Test中打断点,然后直接Debug。 第二种,远程调试 1 设置DEBUG时候启动的jvm调试参数1.如果是yarn的模式 阅读全文
posted @ 2018-10-31 11:35 tianshidan1998 阅读(1063) 评论(0) 推荐(0) 编辑