摘要：
一.大数据组件分类: 1.计算类: hadoop,spark,flink,hive 2.传输类:kafka,flume,redis 3.存储类:hbase,mongodb,Cassandra 4.调度类:zookeeper 5.配置类:mesos,yarn 二.流行的框架SMACK Spark Me 阅读全文
摘要：
一.数据运输面临问题 1.数据来源不同,webserver,物联网,用户行为/接口数据等 2.数据速度快 3.数据量大 二.message queue信息队列 1.各个系统隔离,挂一个不影响 2.增加可扩展性 3.消息广播,告诉每一台机器 4.容易处理数据高峰 5.缓存失败的数据 三.message 阅读全文
摘要：
1.软件开发会经历多个阶段，如开发、测试、生产等，如何保证这些阶段的环境一致？通常人们使用虚拟化技术（如虚拟机）解决，但虚拟化技术存在占用空间资源大等问题。相对来说，docker极大的提高了资源的利用率，可在短时间内大量部署server。 2.为什么使用? 保证不同环境软件版本同步,qa测试环境版本 阅读全文