摘要：
1.研究背景 在实际的大数据工程部署中，多个业务部门经常需要运行多个数据应用，在搭建Hadoop集群时，经常面临如何划分大数据集群及进行资源隔离的问题。另外，由于预算有限等原因，数据运维部门也有控制预算，减少大数据集群节点个数，同时保证重点业务性能等诉求。 现有大数据集群一般支持2种资源管理方式，包 阅读全文
摘要：
大数据集群的物理机部署形态，相对于公有云/混合云的云主机部署形态，在自动化发放集群、弹性伸缩等云化场景方面处于劣势，但物理机部署形态的大数据集群能够更加充分高效的利用服务器资源，不存在云化/虚拟化的开销，同时服务器的异构能力更强。 早期交付的很多大数据集群均是物理机部署形态，如浙江移动大数据集群、广 阅读全文
摘要：
背景 传统大数据平台的组织架构是针对离线数据处理需求设计的，常用的数据导入方式为采用sqoop定时作业批量导入。随着数据分析对实时性要求不断提高，按小时、甚至分钟级的数据同步越来越普遍。由此展开了基于spark/flink流处理机制的（准）实时同步系统的开发。 然而实时同步从一开始就面临如下几个挑战 阅读全文
摘要：
“没有废物的武魂，只有废物的魂师！” “不流血，不痛苦，怎么走自己的路。” “史莱克学院，唐三参战！” 如果有人对这些话耳熟能详，那一定是斗罗大陆的忠实粉丝。唐三，天生满魂力，双生武魂，外附魂骨，不夸张地说，这个名字承载了一代人的青春回忆。他，就是大型玄幻小说《斗罗大陆》中的主人公。“你我皆唐门，觉 阅读全文
摘要：
近期，第十二届DTCC中国数据库技术大会取得了圆满结束，随之一年一度的“技术卓越奖”评选结果也终于到了揭幕的时刻，华为云原生分布式数据库GaussDB(for MySQL)以卓越的表现荣获“2021年度技术卓越奖”。 第十二届DTCC中国数据库技术大会是由IT168联合旗下ITPUB、ChinaUn 阅读全文
摘要：
近日，北京新数科技有限公司（简称：新数科技，英文名称：ShinData）加入华为云“沃土云创计划”，在云化升级和信创数据库产品方面展开更进一步的合作，共同助力商业成功。 新数科技是业内数据库管理软件创新引领企业，产品涵盖数据库dbPaaS云管理平台、数据迁移传输平台、数据库安全管控平台和ShinDB 阅读全文