2020 年 4月 27 日随笔档案 - 南北极星

selenium3环境搭建，Firefox与对应的geckodriver, chrome与对应的Chromedriver

摘要： Firefox与对应的geckodriver 火狐下载：http://ftp.mozilla.org/pub/firefox/releases/ geckodriver下载：https://github.com/mozilla/geckodriver/releases 版本对应关系：经个人验证：F 阅读全文

posted @ 2020-04-27 13:09 南北极星阅读(798) 评论(0) 推荐(0) 编辑

hadoop运行原理

摘要：包括HDFS和Mapreduce两部分。 1)HDFS自动保存多个副本，移动计算。缺点是小文件存取占用namenode内存，写入只支持追加，不能随机修改。它存储的逻辑空间称为block，文件的权限类似linux。整体架构分三种节点，NN,SNN,DN NN 负责读写操作保存metadata(Own 阅读全文

posted @ 2020-04-27 10:03 南北极星阅读(394) 评论(0) 推荐(0) 编辑

数据仓库中数据处理和数据流转简要概述

摘要：具体数仓甚至数据治理方面可以参考下图按照数仓分层思想，分为ods贴源层、dw主题层、mid维表层、dm集市层、app应该层过程如下： 1 数据通过采集或同步落地基于HDFS存储的ods层 2 主题抽取确认 3 如果有此需求，构建基于主题数据的微聚合结果 4 构建维表层数据，如时间、地区、产品类别阅读全文

posted @ 2020-04-27 09:50 南北极星阅读(1151) 评论(0) 推荐(0) 编辑

hbase的管理相关看法

摘要：运维任务 regionserver添加/删除节点 master备份 1 添加新节点复制hbase目录并进行配置文件修改（regionserver增加新节点）并保持配置文件在全集群一致，在新节点上启动相关进程如hbase-daemon.sh start regionserver命令 2 删除节点阅读全文

posted @ 2020-04-27 09:47 南北极星阅读(158) 评论(0) 推荐(0) 编辑

hbase的集群搭建

摘要： hbase集群搭建之前首先完成hadoop集群搭建环境搭建 wget http://mirror.bit.edu.cn/apache/hbase/1.x.y/hbase-1.x.y-bin.tar.gz #解压 tar -xzvf hbase-1.x.y-bin.tar.gz -C /usr/lo 阅读全文

posted @ 2020-04-27 09:44 南北极星阅读(130) 评论(0) 推荐(0) 编辑

hbase的架构

摘要： HBase中的存储包括HMaster、HRegionSever、HRegion、HLog、Store、MemStore、StoreFile、HFile等角色构成，具体如下HMaster的作用 1.为HRegionServer分配HRegion 2.负责HRegionServer的负载均衡 3.发现失阅读全文

posted @ 2020-04-27 09:43 南北极星阅读(341) 评论(0) 推荐(0) 编辑

如果让你处理hbase 怎么保证数据的安全性可靠性不需要具体的设置要一套方案

摘要：有关数据安全及可靠我们认为大体上分为存储安全和使用安全 1 数据存储安全 hbase是基于hdfs的一种数据存储解决方案，所以有关数据的安全性可靠性可以利用hdfs自身的副本机制保障。另外原生的hbase（1.x）并没有提供数据备份机制，目前还是依赖于企业自身的研发保障，如阿里的云hbase进行数据阅读全文

posted @ 2020-04-27 09:26 南北极星阅读(719) 评论(0) 推荐(0) 编辑

架构方式

摘要：架构方式 inmon架构自上而下的开发模式，从多个数据源出发，根据需求将不同数据源的数据经过ETL过程获取到各个主题需求的数据集成到数仓中，完成了数据治理后再进行统计业务，将统计结果存入数据集市。 kimball架构自下而上的开发模式，往往已经存在某个关系明确的业务数据库，架构师需要根据数据库中阅读全文

posted @ 2020-04-27 09:24 南北极星阅读(159) 评论(0) 推荐(0) 编辑

2020年4月27日