2020 年 4月随笔档案 - 南北极星

selenium3环境搭建，Firefox与对应的geckodriver, chrome与对应的Chromedriver

摘要：Firefox与对应的geckodriver 火狐下载：http://ftp.mozilla.org/pub/firefox/releases/ geckodriver下载：https://github.com/mozilla/geckodriver/releases 版本对应关系：经个人验证：F 阅读全文

posted @ 2020-04-27 13:09 南北极星阅读(798) 评论(0) 推荐(0) 编辑

hadoop运行原理

摘要：包括HDFS和Mapreduce两部分。 1)HDFS自动保存多个副本，移动计算。缺点是小文件存取占用namenode内存，写入只支持追加，不能随机修改。它存储的逻辑空间称为block，文件的权限类似linux。整体架构分三种节点，NN,SNN,DN NN 负责读写操作保存metadata(Own 阅读全文

posted @ 2020-04-27 10:03 南北极星阅读(396) 评论(0) 推荐(0) 编辑

数据仓库中数据处理和数据流转简要概述

摘要：具体数仓甚至数据治理方面可以参考下图按照数仓分层思想，分为ods贴源层、dw主题层、mid维表层、dm集市层、app应该层过程如下： 1 数据通过采集或同步落地基于HDFS存储的ods层 2 主题抽取确认 3 如果有此需求，构建基于主题数据的微聚合结果 4 构建维表层数据，如时间、地区、产品类别阅读全文

posted @ 2020-04-27 09:50 南北极星阅读(1153) 评论(0) 推荐(0) 编辑

hbase的管理相关看法

摘要：运维任务 regionserver添加/删除节点 master备份 1 添加新节点复制hbase目录并进行配置文件修改（regionserver增加新节点）并保持配置文件在全集群一致，在新节点上启动相关进程如hbase-daemon.sh start regionserver命令 2 删除节点阅读全文

posted @ 2020-04-27 09:47 南北极星阅读(158) 评论(0) 推荐(0) 编辑

hbase的集群搭建

摘要：hbase集群搭建之前首先完成hadoop集群搭建环境搭建 wget http://mirror.bit.edu.cn/apache/hbase/1.x.y/hbase-1.x.y-bin.tar.gz #解压 tar -xzvf hbase-1.x.y-bin.tar.gz -C /usr/lo 阅读全文

posted @ 2020-04-27 09:44 南北极星阅读(130) 评论(0) 推荐(0) 编辑

hbase的架构

摘要：HBase中的存储包括HMaster、HRegionSever、HRegion、HLog、Store、MemStore、StoreFile、HFile等角色构成，具体如下HMaster的作用 1.为HRegionServer分配HRegion 2.负责HRegionServer的负载均衡 3.发现失阅读全文

posted @ 2020-04-27 09:43 南北极星阅读(342) 评论(0) 推荐(0) 编辑

如果让你处理hbase 怎么保证数据的安全性可靠性不需要具体的设置要一套方案

摘要：有关数据安全及可靠我们认为大体上分为存储安全和使用安全 1 数据存储安全 hbase是基于hdfs的一种数据存储解决方案，所以有关数据的安全性可靠性可以利用hdfs自身的副本机制保障。另外原生的hbase（1.x）并没有提供数据备份机制，目前还是依赖于企业自身的研发保障，如阿里的云hbase进行数据阅读全文

posted @ 2020-04-27 09:26 南北极星阅读(720) 评论(0) 推荐(0) 编辑

架构方式

摘要：架构方式 inmon架构自上而下的开发模式，从多个数据源出发，根据需求将不同数据源的数据经过ETL过程获取到各个主题需求的数据集成到数仓中，完成了数据治理后再进行统计业务，将统计结果存入数据集市。 kimball架构自下而上的开发模式，往往已经存在某个关系明确的业务数据库，架构师需要根据数据库中阅读全文

posted @ 2020-04-27 09:24 南北极星阅读(160) 评论(0) 推荐(0) 编辑

数据仓库搭建流程及数据模型

摘要：建模流程业务建模根据业务部门进行划分，理清部门之间的关系，然后将各个部门的具体业务程序化，与业务部门开会协商出需求的指标、保存年限、维度等等。总体来讲，就是要知道他们需要哪些指标以及他们能提供哪些数据。业务建模的时间最长，而且与公司实际的业务环境息息相关，因此在这里需要根据实际生产环境和业务需求阅读全文

posted @ 2020-04-26 22:56 南北极星阅读(3186) 评论(0) 推荐(0) 编辑

数据仓库概念

摘要：数仓是一个面向主题的、集成的、稳定的、时变的，存储历史数据的仓库。面向主题的：数仓中的数据按照主题进行存储，每个主题都是决策层分析的一个角度; 集成的：不同来源的数据会统一整合后存入数仓中; 稳定的：数据一旦进入仓库后不会轻易发生改变，就算数据本身需要变化也轻易不会改动原数据，会根据分析需求考虑数阅读全文

posted @ 2020-04-26 22:48 南北极星阅读(1257) 评论(0) 推荐(0) 编辑

Shell之根据关键字符串替换文件中的行

摘要：KEY="所要搜索的关键字符串"FullPath=所要搜索的文件的路径str=“要替换行的字符串" 根据关键字符串定位行号：line=`sed -n '/'"$KEY"'/=' $FullPath` 打印匹配行的方法： sed -n -e '/关键词/p' 文件全路径打印行号的方法： sed -n 阅读全文

posted @ 2020-04-24 09:50 南北极星阅读(1533) 评论(0) 推荐(0) 编辑

水晶报表乱码中文乱码问题

摘要：水晶报表乱码中文乱码问题－ Crystal reports原因1：CR輸出的漢字格式不对(簡體還是繁體)，簡體要先在區域設成(中國)，然後在cr裡設字體為"宋體“即可原因2：字符集问题。应查看web.config中字符集配置原因3：数据流量过大。有时候，在水晶报表中导入的数据过多，并配置有图表，而阅读全文

posted @ 2020-04-24 09:35 南北极星阅读(383) 评论(0) 推荐(0) 编辑

spool参数详解

摘要：SQL*PLUS维护系统变量,也称SET变量,利用它可为SQL*PLUS交互建立一个特殊的环境,如:设置NUMBER数据的显示宽度;设置每页的行数;设置列的宽度等。可用SET命令改变这些系统变量,也可用SHOW命令列出它们. 使用set命令的语法如下: SET系统变量值其中系统变量及其可选值如下: 阅读全文

posted @ 2020-04-23 17:24 南北极星阅读(1736) 评论(0) 推荐(0) 编辑

spring基础配置原则

摘要：spring框架本身有四大原则：1、使用pojo进行轻量级和最小侵入式开发2、通过依赖注入和基于接口编程实现松耦合3、通过AOP和默认习惯进行声明式编程4、使用AOP和模板减少模式化代码spring 所有功能的设计和实现都是基于此四大原则的阅读全文

posted @ 2020-04-22 10:26 南北极星阅读(112) 评论(0) 推荐(0) 编辑

spring生态体系

摘要：spring boot使用默认开发配置来实现快速开发spring xd用来简化大数据应用开发spring cloud为分布式系统开发提供工具集spring data对主流的关系型和nosql数据库的支持spring integration通过消息机制对企业集成模式EIP的支持sping batch简阅读全文

posted @ 2020-04-22 10:23 南北极星阅读(305) 评论(0) 推荐(0) 编辑

实用网址学习

摘要：https://blog.csdn.net/m0_37907797/article/details/102781027?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendHotData-2&utm_source=d 阅读全文

posted @ 2020-04-20 10:10 南北极星阅读(76) 评论(0) 推荐(0) 编辑

Maven详解之仓库

摘要：https://blog.csdn.net/qq_26344609/article/details/75447923 在Maven中，任何一个依赖、插件或者项目构建的输出，都可以称之为构件。 Maven在某个统一的位置存储所有项目的共享的构件，这个统一的位置，我们就称之为仓库。（仓库就是存放依赖和插阅读全文

posted @ 2020-04-15 14:51 南北极星阅读(481) 评论(0) 推荐(0) 编辑

搜索

常用链接

最新随笔

我的标签

积分与排名

随笔分类

随笔档案

文章分类

文章档案

阅读排行榜

04 2020 档案