摘要： 大数据工程师是以大数据平台构建以及海量数据采集、存储、计算等工作的技术人员，工作中的典型应用包含离线计算、实时计算、即时查询、数仓构建、用户画像、个性化推荐、反欺诈等。 大数据平台的技术分层，理清了大数据技术架构逻辑。本文结合大数据技术架构与企业实际应用，梳理出大数据工程师需要掌握的技能，包括大数据 阅读全文

摘要： 搭建或使用云平台的一个主要目的是在企业内部提供PaaS功能，由PaaS 平台来支撑应用从开发、发布到运维的过程（应用全生命周期）中需要的存储、负载均衡、容错等通用功能，很多PaaS平台是基于Mesos和Kubernetes这样的分布式平台搭建的，下表1以 Mesos 和 Kubernetes 为基础 阅读全文

摘要： 无服务器架构Serverless让开发者专注于代码的开发和运行，不需要管理任何基础设施，从而摆脱后端应用程序所需的服务器设备的设置和管理工作。目前大多数后端基础结构的维护均有云计算厂商提供，以服务的方式为开发者提供所需功如数据库、消息以及身份验证等。简单地说，Serverless 平台自动化了整个过 阅读全文

摘要： 企业级分布式应用服务是围绕应用和微服务的PaaS平台，为企业提供高可用与分布式的支撑平台，提供分布式服务框架、服务治理、统一配置管理、分布式链路追踪、高可用及数据化运营等。 利用分布式应用服务，可以轻松构建微服务架构，建设大规模分布式系统，以发布和管理应用，协助应用进行IT系统转型，以满足不断增长的 阅读全文

摘要： 微服务架构是一种面向服务的架构体系，其中应用程序按功能分解为小型的、松耦合的各种服务。其重点在于，单个服务被划分的足够小，相互间耦合度很低，并围绕业务功能进行分解。 微服务架构经常与单体架构相比较：单体架构一份代码库与数据库和数据结构共享。微服务架构的每一个服务应用的开发、测试、部署、运行都是完全独 阅读全文

摘要： 云原生的架构的目标是解决特定的业务场景问题，随着云原生架构技术不断的进步，云原生的落地形式与能力边界也在不断演进中，为了更好让大家理解云原生，我们首先了解云原生的设计原则有哪些： 1.去中心化原则 去中心化是分布式系统设计的首要原则，目的是为了保证良好的线性扩展能力，避免单点故障，对于系统的服务能力 阅读全文

摘要： Hadoop是Apache软件基金会下一个开源分布式处理系统平台，主要为用用户提供系统底层细节透明的分布式基础架构。该平台以HDFS和MapReduce为核心。HDFS是一个分布式文件系统，他具有高容错性、高伸缩性、高效性等优点让用户可以将Hadoop部署在低廉的硬件上，形成分布式系统。MapRed 阅读全文

摘要： 数据中台主要功能是进行数据分析，担负公司产品的数据分析工作，数据中台对数据的采集、存储、打通、使用。如何进行数据中心的开发保证数据使用。数据中台的开发流程有哪些？如下图数据中台开发流程所示：一个指标从口径的确认到上线、迭代都要经历图示的这些过程： 数据中台开发流程一共有11个步骤：业务口径梳理、技术 阅读全文

摘要： 在大数据应用开发的流程中我们将原始大数据经过清洗、抽取、转换之后，需要将转换后的大数据存入大数据管理系统中。为了能够高效地查询和分析转换之后的大数据，应用开发人员需要设计大数据的物理存储结构。大数据库设计与传统的数据库设计步骤相同，大数据库也采用自顶向下、逐步求精的设计原则： 一、顶层设计 大数据管 阅读全文

摘要： Hadoop 起源于Google Lab开发的Google File System （GFS）存储系统和MapReduce数据处理框架。2008年，Hadoop成了Apache上的顶级项目，发展到今天，Hadoop已经成了主流的大数据处理平台，与Spark、HBase、Hive、Zookeeper等 阅读全文