周末“干活”之 Mesos Meetup
周末两天都是大雾霾天,作为运营也不能在家宅,告别了技术就得腿儿勤点儿。
非常感谢 Linker 的 Sam Chen 和 数人科技 的 CTO 共同组织的Mesos Meetup,OneAPM 最帅的 Docker 工程狮~陈亮与 Linker Networks、爱奇艺、PingCAP,浙江移动 的程序猿们一起分享了在 Mesos 技术栈的实践。
本想把会议过程详细总结下来,发现干货颇多很难穷举,还好 Linker 和 浙江移动 在微信公众号上迅速地把各自内容分享出来,这节省了我一大部分工作。具体内容请看以下链接:
雾霾天看Linker Mesos Meetup 干货分享,妈妈说,可以驱霾!
三墩IT人在北京Mesos Meetup技术沙龙发表基于Mesos的DCOS实践演讲
🍜将其它分享内容一一呈现:
首先,感谢 VMWare 提供的场地。
![](http://club.oneapm.com/uploads/default/original/1X/2918a130bedbf56e7bb1c4c74c17cb320b14b81d.png)
软广过后,干活呈上:
首先是 领科云 分享了如何通过微服务Mesos技术栈构筑的新一代自动化管理云平台。
![](http://club.oneapm.com/uploads/default/original/1X/c5e45948bbbb7c44a4a790ef89ddbd72b0336354.png)
![](http://club.oneapm.com/uploads/default/original/1X/8e08c86121a4d526e0c342d188f25b186bc48813.png)
详细讲述了如何通过 领科云 快速构筑 Mysql 分布式集群的实现原理。
![](http://club.oneapm.com/uploads/default/original/1X/345ddd6486469eed6e2d98060b1211f8b4f3453e.png)
![](http://club.oneapm.com/uploads/default/original/1X/905c49b895f0f7ca711cafbb35df84dd5aeb01ac.png)
有意思的是我们还看到了 领科云 的台湾合作伙伴~工研院,一方面说明台湾的技术发展同样迅速,另一方面体现了 领科云 的国际化视野。
![](http://club.oneapm.com/uploads/default/original/1X/cfa341c206f3e57fa78d2ba2c83be141f1310c8e.png)
尤为重要的是领科云分享了研发过程中,在 Mesos 技术栈遇到的问题和技术瓶颈。
例如:Dubbo 跟 Port Mapping 的冲突问题,如何保证HA、降低网络性能损耗等问题。
![](http://club.oneapm.com/uploads/default/original/1X/8eb57976397a216b4cac8727f2f77364061cfef5.png)
![](http://club.oneapm.com/uploads/default/original/1X/9744c0d36293d3755283c784c7b6ac22483308b6.png)
我不是一线研发人员,虽然小本儿不停的记录也没晓得其中奥义。如果读者有更多的技术咨询和交流,请继续联系 领科云。
![](http://club.oneapm.com/uploads/default/original/1X/4285b659e9ae84f517b3b98ba1b5ccc95268f196.png)
第二场还是 领科云 在 CI/CD 持续集成和交付方面的技术管理经验分享,此处省去500字具体内容请访问 领科云 的官方微信。
雾霾天看Linker Mesos Meetup 干货分享,妈妈说,可以驱霾!
然后是 爱奇艺 的同学在 Mesos 技术栈方面的实战。首先道歉一下由于内容太精彩,忘记拍下这位同学的社交信息,如果大家谁有请分享给我,特此感谢。
爱奇艺 Mesos 历程
![](http://club.oneapm.com/uploads/default/original/1X/59527669f821969e975da78946e35c5fcb0d5b01.png)
采用的软件栈
![](http://club.oneapm.com/uploads/default/original/1X/7b01a027c372caaa0f41f406f7d9b20011d53866.png)
Mesos 服务现状
![](http://club.oneapm.com/uploads/default/original/1X/d1dddc9643b0645496cd48512947cc3da174c801.png)
Mesos 集群建设
![](http://club.oneapm.com/uploads/default/original/1X/ee3980a0a18cc8c87a416156ed9f34df2379d313.png)
自动化部署经验
没有采用嵌入式管理服务、降低风险,对红帽有一点担忧。
![](http://club.oneapm.com/uploads/default/original/1X/b14f3641256661a511314fee5bde7f9cd6b6d775.png)
![](http://club.oneapm.com/uploads/default/original/1X/af164b445d1290bf6e0395838c277a4179216ed6.png)
监控方案及要点
![](http://club.oneapm.com/uploads/default/original/1X/6bd1cf5233613808850ae1ab2cf4ae7bfb8fad72.png)
![](http://club.oneapm.com/uploads/default/original/1X/669637e5727c7acf2c58749562feced427c46fba.png)
![](http://club.oneapm.com/uploads/default/original/1X/99cc4aadd921478beaf25497cc63552c5789d607.png)
报警方案
![](http://club.oneapm.com/uploads/default/original/1X/1ce7917c036a034c36741fb2413337312d909d06.png)
HA 方案
![](http://club.oneapm.com/uploads/default/original/1X/7e5fae803978e69cdd84ff82822ae4dbbe84c7b3.png)
统计报告
![](http://club.oneapm.com/uploads/default/original/1X/9d790e6508dc57a5a2f3bbbeac4434f4a5edd05e.png)
![](http://club.oneapm.com/uploads/default/original/1X/feefbeac8b014e4953dceaec5705da59dbbd867b.png)
从爱奇艺的监控方案和统计报告我们可以看出,爱奇艺监控服务主要关注CPU的资源消耗,尤其是在一段时间内的CPU资源利用率。因为视频服务有大量的视频转码需求,如何利用好忙闲时的资源分配,提高用户在线体验是非常关键的。还提到了Mesos管理CPU核数时的缺陷,分配4核资源会抢占8核,导致某些在线资源的性能损耗,以至暂时方案是将在线服务和离线服务分开部署,这将势必会给Mesos管理带来一定不变,没有体现微服务更好的特性。另外,大家想知道为什么爱奇艺对新技术以及架构接受那么快而且要求那么苛刻,因为他们Mesos团队没有运维工程师。赞!
另外 数人科技 也讨论了一下他们给客户实施Mesos方案的监控经验。他们给客户搭建的是 Mesos + Ceph 存储方案,监控统计主要关注的是微服务的IOPS性能跟 爱奇艺 的业务特点大相径庭,看来微服务业务场景化监控将成为常态。
可问题来了?
一般的互联网公司想要构筑一套这样的监控服务得有多复杂,包括爱奇艺的统计报告平台都是Ruby on Rails敏捷开发的,这样的技术团队也是凤毛麟角。
人才难求啊!
稍安,这个问题我们一会儿分解!
第四个分享是来自我们 OneAPM 安全产品团队 OneASP 的 Docker 工程师~陈亮使用Mesos技术栈构筑测试运维平台的实践。
![](http://club.oneapm.com/uploads/default/original/1X/3abfa6fa23ee4020df8ca2ec3b495619d6a58336.png)
![](http://club.oneapm.com/uploads/default/original/1X/06b2bd17c5516c4a1722c2962e8a9f7310c73f3b.png)
![](http://club.oneapm.com/uploads/default/original/1X/fe79f1965910415e5db10fd06265fa363287f35e.png)
陈亮同学详细讲述了一个工程师在Mesos技术栈如何“从0到1”的一个过程,并且流程化的讲述了一个自动化运维平台的构筑过程,哪些时间点遇到哪些问题,如何采取有效的实战策略。
另外,陈亮还给广大 Docker Mesos 工程师提前带来了一个新年礼物:
![](http://club.oneapm.com/uploads/default/original/1X/35baf26dca702fcd72f5ccf1fa2a6d12b2721293.png)
Mesos 自动化 SaaS 监控服务
而且 OneAPM 的 Cloud Insight 监控云组件的类型不仅限于此,请看:
![](http://club.oneapm.com/uploads/default/original/1X/dfde9929f8dec95f4ffa6620469654f01371146d.png)
我们提供的强大功能:
![](http://club.oneapm.com/uploads/default/original/1X/3c91a6e4d96f8184c31e98a8ca5e770afca284b2.png)
![](http://club.oneapm.com/uploads/default/original/1X/bba26e528c341b2b2119df1f8d7b69496895925b.png)
![](http://club.oneapm.com/uploads/default/original/1X/ace9194baad1baa4d87e74b87a0628d9d6f826f7.png)
我们目标服务的客户群体:
![](http://club.oneapm.com/uploads/default/original/1X/f20268e365527242b47c620c80f08ca5e99fef25.png)
![](http://club.oneapm.com/uploads/default/original/1X/b089166c9e2e8e19012cde79142537d31e653066.png)
![](http://club.oneapm.com/uploads/default/original/1X/a47a346d8eb17f60a0336e0329c190483a35ff9d.png)
我们还能提供什么?
![](http://club.oneapm.com/uploads/default/original/1X/6fae9c4e3c2bc458cc0ec7979861b194b55a0bad.png)
还等什么?30s 云组件监控服务瞬间帮你搞定!
![](http://club.oneapm.com/uploads/default/original/1X/8aee70e967e02a3ec7887f639866c5d495664273.png)
刚才前面留了伏笔~如何才能拥有 爱奇艺 一样的技术团队,快速打造Mesos监控服务?想必有了答案😀
再来看看惊喜吧!
Meetup当天过后,世界上首位使用 Cloud Insight 监控 Druid 的程序猿诞生了!
![](http://club.oneapm.com/uploads/default/original/1X/de75710dee2011d0e91e001ee4b00e7b10a92a6d.png)
哈哈!还等什么?快来 免费试用 Cloud Insight 吧。
平复心情,OneAPM 的分享先告一段落!
我们进行下一话题~程序媛,这是技术圈中经常谈论的一个内容。巧的是接着做技术分享的工程师就是一个妹纸:
![](http://club.oneapm.com/uploads/default/original/1X/ebaa6f77ebc9bcce9055a6938705ca09f1aaef17.png)
![](http://club.oneapm.com/uploads/default/original/1X/08b6539701844de0e13d578eb57cd210659f2e8b.png)
三墩IT人在北京Mesos Meetup技术沙龙发表基于Mesos的DCOS实践演讲这里我想说的是 浙江移动 在传统行业积极进取,努力尝试新技术,敢为天下先的精神确实让互联网行业也不得不钦佩。看来这就是“互联网+”的真正意义~互联互通、互相学习、共同进步!
周末每天一场的参会使人有点疲惫,但内心、思想上得到了非常多的充实,从技术、架构到行业、市场。再次感谢 Linker 和 数人科技 共同组织的Mesos Meetup,非常期待下一次的周末相聚。
本文仅代表作者个人观点