[大数据运维]开篇词：掌握大数据，把握未来

开篇词：掌握大数据，把握未来

高俊峰（南非蚂蚁）

 

你好，欢迎来到《大数据运维实战》专栏（2020版）。

 

入行以来，我从事大数据运维也有十多年了，期间我做过系统运维、DBA，也做过大数据分析师，最后选择了大数据运维方向，曾设计并管理超过千台、PB 级的数据平台。在这期间， 我见证并目睹了国内大数据行业发展的历程，也看到了目前大家在大数据学习、工作、发展等方面的一些问题，比如：

 

• 做传统运维（网络运维、系统运维、DBA等）多年，但受到云计算、虚拟化的冲击，竞争力日渐低下，要升职加薪变得异常困难；
• 企业没有专职大数据运维，开发兼职运维，大数据平台经常出问题，没有专人解决；
• 想进入大数据领域，但不知道学习什么知识，如何系统地去学习，以及就业方式等诸多问题。

 

这可能是大部分人面临的问题，在我个人的运维从业过程中，也同样经历了职业方向选型时的迷茫期、职业高速发展时的提升期、职业定型时的运筹帷幄期 3 个阶段。

 

迷茫期，平台搭建经常出问题，也不知道怎么解决，只能根据错误提示进行搜索查找，而在找到答案后，也不清楚这样修改是否正确，只能尝试修改，发现不行就回滚恢复。也就是在这种模棱两可的状态下，我发现：要能处理故障和问题，一定要对大数据每个组件的运行机制、原理有清晰的认识，这样才能够知道故障是如何发生的，以及如何避免再次发生。

 

提升期，在慢慢摸清了大数据的门道后，思路逐渐清晰了，此时已经慢慢捋清了大数据运维的难点和重点，比如掌握每个组件的内部原理后，再进行有目的的故障排错和修改。现在遇到大数据平台的基础问题，基本能马上定位问题，进而快速解决问题。

 

运筹帷幄期，此阶段接触更多的是对大数据平台的调优、架构优化，这也是大数据运维最难的一个部分，不同的应用场景和需求，注定了调优不是一成不变的，它也有一套思路和方法。而大数据应用架构也是在企业应用需求变化中不断进行调整，因此这个阶段要求的是业务需求和大数据平台之间的一个平衡，你需要了解业务模式和特点，然后有针对性地对大数据平台进行架构调整、资源优化。

大数据人才紧缺

如今，大数据已经广泛应用于各行各业，阿里、腾讯、京东、美团、字节跳动等互联网公司都有自己的大数据平台，大数据运维职业的平均薪资在 20K 或以上（北上深杭广）。而且，由于国家大力倡导实施大数据战略，这就出现了企业对大数据分析、开发人才的需求量激增，进而导致大数据运维人才也非常紧缺。

 

大数据战略的落地，必然会有大批技术人员涌入大数据领域，传统运维人员由于具有多年的运维基础，转型大数据运维是顺理成章的事情，并随之带来翻倍的高额薪资。目前，国内大数据市场还是一片蓝海，全面大数据化还有相当长的路要走，所以未来职业发展不可限量。

 

2019 年大数据人才就业趋势报告显示，中国当下大数据从业人才约有 30 万，未来 3 ~ 5 年人才需求量将达到 180 万。下图中是拉勾网对大数据运维职位的招聘信息，从中我们可以看出企业招聘的实际需求以及薪资情况。

 

大数据运维是一个新兴职业，在整个国家都在倡导和实施大数据应用落地建设之际，大数据运维必然有更多的职位需求和更大的发展前景。

 

如果你现在是一名 Linux 运维工程师、DBA、网络运维工程师、IT 支持工程师，正苦于薪资太少、竞争力差，或者徘徊在职业转型的苦恼中，那么大数据运维这个职位绝对是你的首选：

 

• 因为你已经有了一定的技能积累，而这些技能可以直接拿来运用到大数据运维中；
• 其次，这个职位不需要太多开发技能，所以你不用去单独学习一门语言；
• 最后，大数据运维是整个运维行业中薪资最高的，这在一定程度上也代表了运维的发展方向。

 

很多想转行大数据运维的都有个疑问：大数据需要会开发，而我没做过开发，也不想去学开发，那能学大数据运维吗？

 

实际上，大数据运维根本不需要很多高深的技能，懂一点 Linux、网络和自动化运维的知识，基本就可以学大数据运维课程了，而开发能力非必选项。

 

此外，学大数据运维，注重的是理论与实践相结合，也就是首先要理解概念、原理，有了这些理论作为支撑，才能进入实践阶段，实践过程就是动手实战、反复操作的过程。但如果没有实践经验，企业是不会贸然让你上手去操作，这种困境怎么破呢？

如何有效学习和入手？

缺少相关学习资料，是第一个难题。现在市面上的大数据类书籍或者课程，大部分都是基于大数据开发、大数据分析方向的，其核心就是教你如何通过一门编程语言来分析数据。而讲到大数据运维方向（架构设计、运维监控、性能调优）的资料就非常匮乏了。

 

究其原因，这主要是开发方向的技术点相对简单，而运维方向需要更多的经验积累，比如什么架构才能支撑这个数据量、什么资源配置才能满足分析需求，这需要你实际接触过、操作过才能给出答案，而不是靠理论或者猜测。

 

学习大数据运维的难点，非常重要的一点，就在于接触不到实际的环境，没有现成可学习的架构和案例。而大数据运维中的架构设计、容量规划、性能调优是要和具体的业务需求结合起来综合考虑的，所以获取这部分经验很难，仅靠自学是无法实现的。

 

这个专栏帮你很好地解决了以上问题。

 

我在专栏中，详细讲解了大数据运维平台的各种运维架构和实施案例，而且每个案例都基于企业实际的应用环境来讲解。对运维人员因为刚入行或没实际经验而接触不到的架构设计、容量规划，性能调优，我也都是以企业实际应用需求来展开介绍的。可以说，这个专栏基本解决了你学习大数据运维的最大难题。

课程设置

本课程共计七大模块， 26 个课时。主要介绍大数据运维平台的架构设计与部署、大数据平台的监控告警、大数据平台的性能调优三大部分内容。

 

首先从大数据生态圈基础讲起；然后教你如何构建大数据平台；接着是如何运维这个平台，以及讲解跟这个平台相关的一些大数据组件；最后从大数据架构实现、调优方向，教你如何做一个质的提升。纵观全局，整个课程是一个由点及线、由线及面、循序渐进的一个学习过程，非常容易上手。

 

下图是本专栏内容的一个思维导图，你可以从中了解更多运维技术内容和细节。

 

模块一，Hadoop 大数据平台的规划与部署。

该模块主要讲解了 Hadoop 大数据平台的搭建与基础配置， 以及两种 Hadoop 集群部署方式，分别是手动部署和 Ambari 自动部署。

掌握这些内容，可以帮助你快速为企业部署大数据平台。这是大数据运维的第一步，此部分内容要求熟练掌握。

模块二，Hadoop 分布式架构解析。

该模块主要讲解了分布式文件系统 HDFS 和分布式资源管理器 Yarn 的运行机制，以及内部实现细节。

掌握后，对于大数据平台出现的一些简单故障，你可以快速定位并解决。这是大数据运维的第二步，此时你已经具备了处理大数据平台故障的能力。

模块三，Hadoop 外围应用整合实战。

该模块主要讲解了大数据平台下如何整合一些外围应用，主要是 Spark、Flink 与 Yarn 的整合应用，以及 HBase 集群的部署。

掌握后，你的大数据运维能力将得到质的提升。这是大数据运维的第三步，大数据平台从离线计算扩展到内存计算（Spark）和实时计算（Flink）。

模块四，Hadoop 大数据平台数据收集应用实践。

该模块主要讲解了 ELK/EFK 应用套件如何实现日志数据收集以及快速查询。首先介绍了 Filebeat 和 Logstash 两款日志收集工具的功能，接着介绍了如何实现日志的收集、过滤和传输，最后介绍了如何通过 Elasticsearch 实现数据的快速检索。

掌握此模块内容后，你就可以根据企业需求去收集需要的业务数据，从而实现快速查询。这是大数据运维的第四步，如何获取数据并对数据进行过滤、分析，最后存储到 HDFS 上。

模块五，大数据平台日志传输与可视化应用实践。

该模块主要讲解了海量数据环境中如何实现数据的实时传输，并通过 Kibana 实现可视化展示。

掌握了这部分内容，你就已经具备了设计大数据平台下实时查询、实时展示架构的能力。这是大数据运维的第五步，至此，你已经掌握了大数据生态链中的数据收集、数据传输、数据存储、数据分析四个方向的所有运维技术。

模块六，大数据平台运维监控体系的构建。

该模块主要讲解了如何对大数据平台下每个组件的运行状态、服务状态进行监控。

作为大数据运维中最重要的一个环节，监控告警是你必须掌握的内容，也是运维质量的保障。

模块七，大数据平台性能调优与运维经验汇总。

该模块主要讲解了大数据运维中常见的故障处理方法、集群扩缩容、集群调度策略选型、集群资源分配与权限管理等，还从全局的角度介绍了如何从零开始构建一个大数据平台，以及集群参数调优、内存调优等经验和技巧。

掌握后，你对大数据平台的运维基本上可以做到游刃有余。这是大数据运维的终极步骤，至此，你已经学完了大数据运维的所有相关内容了。

 

本专栏虽然是大数据运维实战专栏，但除了大数据运维人员，专栏中的第二、三、四、五、七模块内容，对大数据开发人员也有极高的学习和参考价值，这些内容能够帮助开发人员在数据架构、数据可视化展示、大数据调优等方面拓展视野，同时帮助其建立宏观思维，从而在工作中提高开发效率。

课程寄语

当今社会，正在经历一场创新的技术变革。物联网、智慧城市、区块链、语音识别、人工智能是未来趋势，而这些技术方向的核心就是大数据，掌握了大数据，也就把握住了自己的未来。我依据自身十余年的从业经验，来设计了这个课程，希望能够帮到你。

 

无论你是想从事大数据方向的系统工程师、大数据开发工程师、大数据运维工程师等，还是目前在从事传统运维相关工作（Web 运维、DBA、系统运维、网络运维），我都强烈建议你学习本课程，技不压身，身处快速发展的技术潮流中，我们也都需要具备不断刷新自身的能力。

 

未来应该掌握在自己的手中，我们应该学会设计自己的技能栈与职业发展路径，而你要做的就是把握现在，从当下开始。