摘要:
定义与概念 湖仓一体(Data Lakehouse)是一种将数据湖和数据仓库的优势相结合的新型数据架构。它既具备数据湖的灵活性和可扩展性,能够存储各种类型的原始数据,又拥有数据仓库的数据管理和数据分析能力,像数据仓库一样提供高效的数据处理、数据治理和数据安全保障机制。 湖仓一体的架构 统一存储层:采 阅读全文
摘要:
定义与概念 数据湖是一个存储企业的各种各样原始数据的大型存储库,这些数据包括结构化数据(如关系数据库中的表)、半结构化数据(如XML、JSON文件)和非结构化数据(如文本文件、图像、音频、视频)。数据湖的目的是存储所有数据,而不对数据进行过多的预先处理,保留数据的原始性和完整性,以便后续根据不同的分 阅读全文
摘要:
定义与概念 数据仓库是一个用于存储和管理企业数据的系统,它是面向主题的、集成的、相对稳定的、反映历史变化的数据集合。数据仓库的目的是为企业的决策支持系统(DSS)提供数据支持,帮助企业管理者进行战略决策。例如,一家连锁超市的数据仓库可以围绕销售主题、库存主题、顾客主题等来组织数据,方便管理人员分析销 阅读全文
摘要:
数据仓库时代 起源与背景:20世纪80年代末,企业数据处理主要依赖传统关系数据库,但在支持复杂查询和数据分析方面性能不足,为解决此问题,IBM等公司提出数据仓库概念。 技术特点: 数据整合与预处理:从多个数据源抽取、清洗、转换和加载数据,确保数据质量和一致性,存储的是经过处理的结构化数据。 面向主题 阅读全文
摘要:
早期探索阶段(19世纪末至20世纪70年代) 数据处理自动化的开端:1887年至1890年间,美国统计学家赫尔曼·霍尔瑞斯为统计1890年的人口普查数据发明了一台电动读取设备,极大地提升了数据处理效率。 数据存储技术的初步发展:20世纪50年代至70年代,磁带和磁盘等数据存储介质相继出现。磁带容量大 阅读全文
摘要:
智能化与自动化 利用AI技术攻击:攻击者将越来越多地利用人工智能技术,如生成式AI,来生成更具迷惑性的钓鱼邮件、虚假新闻等内容,提高攻击的成功率。还可以通过AI模型分析目标系统的行为模式,寻找漏洞和弱点进行精准攻击。 攻击工具自动化:攻击工具的自动化程度不断提高,能够自动发现目标、发动攻击并自我传播 阅读全文
摘要:
拒绝服务攻击(DoS/DDoS) 流量型攻击:攻击者通过控制大量的“肉鸡”(被黑客控制的计算机)或利用网络漏洞,向目标服务器发送海量的无意义数据包,占用大量带宽,使服务器无法处理正常的请求,导致服务瘫痪。 资源耗尽型攻击:通过发送大量请求,耗尽目标服务器的计算资源,如CPU、内存、数据库连接等,使其 阅读全文
摘要:
防火墙技术 包过滤防火墙: 工作在网络层,根据预先设定的规则,对通过的数据包的源IP地址、目的IP地址、端口号、协议类型等信息进行检查。例如,只允许来自特定IP网段的数据包访问内部网络的HTTP服务(80端口),而拒绝其他网段的访问请求。 优点是速度快、性能高,对用户透明,基本不影响网络性能。缺点是 阅读全文
摘要:
数据分类分级 数据分类: 对企业或组织内的数据进行梳理,根据数据的类型,如客户数据、财务数据、技术文档、业务流程数据等进行分类。以金融机构为例,客户数据可细分为个人身份信息、账户交易信息、信用记录等。通过这种分类,可以明确不同类型数据的重要性和敏感性。 依据数据的来源,如内部生成的数据(员工信息、内 阅读全文
摘要:
工作原理 通过对数据包的加密和数据包目标地址的转换实现远程访问。在公用网络上建立一条临时的、安全的连接隧道,让用户数据在其中加密传输,就好像在公用网络中建立了一个专用网络。 分类方式 按协议分类:主要包括PPTP、L2TP和IPSec等,其中PPTP和L2TP协议工作在OSI模型的第二层,又称为二层 阅读全文