随笔分类 - 大数据
摘要:构建Docker映像 定义Dockerfile=》Docker根据Dockerfile构建出映像 包含: 基础映像(父映像)信息 维护者信息 映像操作命令 容器启动命令 基础映像(父映像)信息 维护者信息 映像操作命令 容器启动命令 .net standard中的示例,如下: 配置Docker主机
阅读全文
摘要:场景分析 描述产品服务,基于REST的接口 表述性状态转移(Representational State Transfer,REST) 任务拆分 将整体要做的工作内容划分成小的任务: 统一时间聚焦一个任务 对每次完成的部分做持续集成 整体的进度容易追踪 思维导图 Hello World API 开发
阅读全文
摘要:微服务遵循前提: 业务独立性:推荐书籍 Eric Evans《领域驱动模型》 团队自主性: 特点 单一职责:推荐书籍 Robert C.Martin《敏捷软件开发:原则、模式和实现》 轻量级通信:语言无关、平台无关的交互方式 独立性:交付过程中,开发(功能)、测试、部署的独立性;服务与服务的独立、隔
阅读全文
摘要:默认情况下,.NET Core应用的内存回收模式是Server模式,这种情况下,内存占用和服务器核心数量有关,一半占用量比较大。 我们的应用目前吞吐量都不大,可以采用Workstation模式,这种模式下可以减少内存占用。 配置方法: <PropertyGroup> <ServerGarbageCo
阅读全文
摘要:1、开发人员需要确保机器上装有Docker并准确配置了Registry,能否推送相关镜像到Registry(运维人员无此要求) 2、能够访问Kubernetes APIServer相关API, 拥有相关客户端证书,并准确作了客户端配置 3、下载了kubectl工具,并且kubectl.exe(Win
阅读全文
摘要:1、 Talend Open Studio 是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次,其开源软件提供了数据整合功能。其用户包括美国国际集团(AIG)、康卡斯特、电子港湾、通用电气、三
阅读全文
摘要:Hbase与Oracle比较(列式数据库与行式数据库) 1 主要区别 Hbase适合大量插入同时又有读的情况 Hbase的瓶颈是硬盘传输速度,Oracle的瓶颈是硬盘寻道时间。 Hbase本质上只有一种操作,就是插入,其更新操作是插入一个带有新的时间戳的行,而删除是插入一个带有插入标记的行。 其主要
阅读全文
摘要:HBase底层存储原理——我靠,和cassandra本质上没有区别啊!都是kv 列存储,只是一个是p2p另一个是集中式而已! 首先HBase不同于一般的关系数据库, 它是一个适合于非结构化数据存储的数据库. 另一个不同的是HBase基于列的而不是基于行的模式. 什么是BigTable: Bigtab
阅读全文
摘要:几张图看懂列式存储 从Dremel和Impala的学习引申出了SQL查询的并行执行问题,于是借此机会深入学习一下关系数据库以及关系代数的并行计算。 Speedup和Scaleup Speedup指用两倍的硬件换来一半的执行时间。 Scaleup指两倍的硬件换来同等时间内执行两倍的任务。 但往往事情不
阅读全文
摘要:传统的行存储和(HBase)列存储的区别 1.为什么要按列存储 列式存储(Columnar or column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。简单来说两者的区别就是如何组织表: Ø Row-based storage stores atab
阅读全文
摘要:这个服务如何实现这些协作方面的原语? ZooKeeper基础
阅读全文
摘要:简介 分布式系统和应用,不仅能提供更强的计算能力,还能为我们提供更好的容灾性和扩展性。 ZooKeeper是Google的Chubby项目的开源实现,它曾经作为Hadoop的子项目,在大数据领域得到广泛应用 ZooKeeper以Fast Paxos算法为基础,同时为了解决活锁问题,对Fast Pax
阅读全文
摘要:Druid的发送数据和查询数据 Druid 开篇 - 大数据实时探索性分析平台 官网 Druid 一次海量数据实时处理的实践 使用HDFS作为Druid的deepStorage 在哪里下载druid 正式版本下载:maven中央仓库: http://central.maven.org/maven2/
阅读全文