随笔分类 - 前沿技术
摘要：说起当前最火的技术，除了最新的区块链，AI，还有一个不得不提的概念是Serverless。Serverless作为一种新型的互联网架构直接或间接推动了云计算的发展，从AWS Lambda到阿里云函数计算，Serverless一路高歌，同时基于Serverless的轻量计算开始登录云计算的舞台，本文将
阅读全文
摘要：参考文章：https://www.cnblogs.com/yjmyzz/p/ELK-install-tutorial.html 注：这3个组件相互之间的关系及作用如下： Logstash(收集服务器上的日志文件) --》然后保存到 ElasticSearch（搜索引擎） --》Kibana提供友好的
阅读全文
摘要：阅读目录(Content) 一、Flume简介 二、Flume特点 三、Flume的一些核心概念 3.1、Agent结构 3.2、source 3.3、Channel 3.4、Sink 四、Flume拦截器、数据流以及可靠性 4.1、Flume拦截器 4.2、Flume数据流 4.3、Flume可靠
阅读全文
摘要：一、为什么需要消息系统 二、kafka 架构 2.1 拓扑结构 如下图： 图.1 2.2 相关概念 如图.1中，kafka 相关名词解释如下： 2.3 zookeeper 节点 kafka 在 zookeeper 中的存储结构如下图所示： 图.2 三、producer 发布消息 3.1 写入方式 p
阅读全文
摘要：1.Hive1.1 在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。 本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。 hive有一套映射工具，可以把SQL转换为MapReduce中
阅读全文
摘要：一、HBase介绍 1、基本概念 HBase是一种Hadoop数据库，经常被描述为一种稀疏的，分布式的，持久化的，多维有序映射，它基于行键、列键和时间戳建立索引，是一个可以随机访问的存储和检索数据的平台。HBase不限制存储的数据的种类，允许动态的、灵活的数据模型，不用SQL语言，也不强调数据之间的
阅读全文
摘要：Hue是cdh专门的一套web管理器，它包括3个部分hue ui，hue server，hue db。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr，查看修改hdfs的文件，管理Hive的元数据，运行Sqoop，编写Oozie工作流等大量工作。 HUE官方地址http://
阅读全文
摘要：来源于：https://www.cnblogs.com/honey01/p/8351145.html Kylin是ebay开发的一套OLAP系统，与Mondrian不同的是，它是一个MOLAP系统，主要用于支持大数据生态圈的数据分析业务，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase
阅读全文
摘要：优秀的文章：https://www.cnblogs.com/lsy-blogs/p/8268318.html 一、Kettle概念 Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 Kettle 中文名称叫水壶，
阅读全文
摘要：CORS简介 现在请跟我做：在您的浏览器的地址栏中输入www.yhd.com并敲击回车。在网站内容全部加载完毕后，按F12打开浏览器的调试窗口。当切换到Sources页时，您会发现您当前所看到的一号店的页面是从多个不同的域中得到的： 或许有些读者会感到奇怪：在之前自己 写网页的时候就曾经尝试访问非当
阅读全文
摘要：一、Kubernetes系列之介绍篇 (k8s配置Ingress-nginx作为服务发现) (服务网格lstio) (日志和监控Helm+PrometheusGrafna看板) (服务调度与编排Scheduler玩转pod调度) (共享存储PV/PVC/StorageClass) (Harbor D
阅读全文
摘要：1 ES定义 ES=elaticsearch简写， Elasticsearch是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。 Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和
阅读全文
摘要：Jenkins是一个开源软件项目，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能。Jenkins是基于Java开发的一种持续集成工具，用于监控持续重复的工作，功能包括：1、持续的软件版本发布/测试项目。2、监控外部调用执行的工作。 本文使用的Linux：Ubuntu 其中JDK、Tomca
阅读全文
摘要：【摘要】 本文从连接组织和开发人员、连接异构系统两方面阐述了ServiceComb的开放性设计，并从内部系统结构、与三方系统集成等角度介绍了ServiceComb的扩展性。通过理解这些基本的设计概念，可以帮助开发者能够更好的理解ServiceComb，从而更好的使用ServiceComb和参与其项目
阅读全文
摘要：Apache ServiceComb 是业界第一个Apache微服务顶级项目， 是一个开源微服务解决方案。 愿景： 致力于帮助企业、用户和开发者将企业应用轻松微服务化上云，并实现对微服务应用的高效运维管理。其提供一站式开源微服务解决方案，融合SDK框架级、0侵入ServiceMesh场景并支持多语言
阅读全文
