随笔- 807
文章- 150
评论- 23
阅读-
151万
10 2019 档案
Hive-2.3.6 安装
摘要：本安装依赖Haddop2.8安装 https://www.cnblogs.com/xibuhaohao/p/11772031.html 一、下载Hive与MySQL jdbc 连接驱动 apache-hive-2.3.6-bin.tar.gz 官方网站 mysql-connector-java-5.
阅读全文
Hadoop 格式化namenode时报错警告：WARN common.Util: Path /data/dfs/name should be specified as a URI in configuration
摘要：格式化namenode时报错警告：WARN common.Util: Path /data/dfs/name should be specified as a URI in configuration 一、问题分析 在执行hadoop namenode格式化命令：bin/hadoop namenod
阅读全文
Linux 服务器用户间ssh免密码登录
摘要：1、本脚本为服务器用户间密码互信登录脚本 2、依赖 需要安装expect工具 3、使用 sh CreateUserssh.sh hadoop hadoop /home/hadoop/.ssh 三个带入参数 1）用户名 2）密码 3）用户ssh密钥路径 4、脚本内容 #!/bin/bash####脚本
阅读全文
Hadoop2.8 安装
摘要：一、下载Hadoop与java jdk-8u221-linux-x64.tar.gz Oracle官网下载 hadoop-2.8.5.tar.gz Hadoop官网下载 二、配置服务期间ssh免密互通 使用如下互信安装脚本 https://www.cnblogs.com/xibuhaohao/p/1
阅读全文
Oracle trunc() 日期、数字截取函数
摘要：--Oracle trunc()函数的用法/**************日期********************/1.select trunc(sysdate) from dual --2013-01-06 今天的日期为2013-01-062.select trunc(sysdate, 'mm'
阅读全文
Oracle Replace()函数与translate()函数 替换函数
摘要：简要比较： replace 字符串级别的代替 如：SELECT REPLACE('accd','cd','ef') from dual; --> aefd translate 字符级别的代替 如：select translate('acdd','cd','ef') from dual; -->aef
阅读全文
Oracle substr() 字符截取函数
摘要：1、substr函数格式 (俗称：字符截取函数) 格式1： substr(string string, int a, int b); 格式2：substr(string string, int a) ; 解释： 格式1： 1、string 需要截取的字符串 2、a 截取字符串的开始位置（注：当a等于
阅读全文
Oracle instr() 字符查找函数
摘要：instr()函数的格式 （俗称：字符查找函数） 格式一：instr( string1, string2 ) / instr(源字符串, 目标字符串) 格式二：instr( string1, string2 [, start_position [, nth_appearance ] ] ) / in
阅读全文
Oracle 中触发器增加存储过程commit问题
摘要：触发器无需commit也不能写commit触发器和触发它的DML是同一个事务DML提交了，触发器的操作也提交了，要不就一起回滚了当然，如果你一定要在触发器里写COMMIT那就用自治事务相当于一个事务里的子事务 正常情况下，Oracle规定在触发器中不能运行 ddl语句和commit，rollback
阅读全文
Oracle 记录下jdbc thin client module名称
摘要：At application level you can use the following methods to set client_info, module and action in v$session:
阅读全文
sqoop job 实现自动增量导入
摘要：一、测试环境 1、MySQL表结构 mysql> show create table autoextend\GCREATE TABLE `autoextend` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `name` varchar(30) DEFAULT
阅读全文
Linux LVM--三种Logic Volume
摘要：本文链接：https://blog.csdn.net/u012299594/article/details/84551722 概述 为了满足在性能和冗余等方面的需求，LVM支持了下面三种Logic Volume： Linear Logic Volume --线性逻辑卷 Striped Logic V
阅读全文
Kafka ISR and AR HW 、 LEO
摘要：相信大家已经对 kafka 的基本概念已经有一定的了解了，下面直接来分析一下 ISR 和 AR 的概念。 0|1ISR and AR 简单来说，分区中的所有副本统称为 AR (Assigned Replicas)。所有与leader副本保持一定程度同步的副本（包括leader副本在内）组成 ISR
阅读全文
Kafka Rebalance机制分析
摘要：|1什么是 Rebalance Rebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 consumer 如何达成一致，来分配订阅 Topic 的每个分区。 例如：某 Group 下有 20 个 consumer 实例，它订阅了一个具有 100 个 partitio
阅读全文
Kafka 基础操作
摘要：cd /root/kafka/kafka_2.10-0.8.2.2/bin 1、查看kafka topic kafka-topics.sh --list --zookeeper 172.16.100.155:2181 2、查看topic的生产者与消费者消息 kafka-topics.sh --des
阅读全文
Kafka 通过python简单的生产消费实现
摘要：使用CentOS6.5、python3.6、kafkaScala 2.10 - kafka_2.10-0.8.2.2.tgz (asc, md5) 一、下载kafka 下载地址 https://kafka.apache.org/downloads 里面包含zookeeper 二、安装Kafka 1、
阅读全文
Kafka为什么速度那么快？该怎么回答
摘要：Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。即使是普通的服务器，Kafka也可以轻松支持每秒百万级的写入请求，超过了大部分的消息中间件，这种特性也使得Kafka在日志处理等海量数据场景广泛应用。
阅读全文
数据仓库分层架构
摘要：数据层的存储一般如下： Data Source 数据源一般是业务库和埋点，当然也会有第三方购买数据等多种数据来源方式。业务库的存储一般是Mysql 和 PostgreSql。 ODS 层 ODS 的数据量一般非常大，所以大多数公司会选择存在HDFS上，即Hive或者Hbase，Hive居多。 ODS
阅读全文
Linux 格式化磁盘
摘要：格式化磁盘： mkfs -t ext4 /dev/sdb 初始化磁盘 mkfs.ext4 /dev/sdb
阅读全文
Linux 一条长命令占用多行
摘要：前言 考察下面的脚本： ? 1 emcc -o ./dist/test.html --shell-file ./tmp.html --source-map-base dist -O3 -g4 --source-map-base dist -s MODULARIZE=1 -s "EXPORT_NAME
阅读全文
DW-ODS
摘要：ODS （操作数据存储） 操作数据存储ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分，也被称为贴源层。ODS具备数据仓库的部分特征和OLTP系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。 操作数据存储ODS（Operation
阅读全文
对数据仓库ODS DW DM的理解
摘要：原文链接：https://www.jianshu.com/p/72e395d8cb33 今天看了一些专业的解释，还是对ODS、DW和DM认识不深刻，下班后花时间分别查了查它们的概念。 ODS——操作性数据 DW——数据仓库 DM——数据集市 1.数据中心整体架构 数据中心整体架构 数据仓库的整理架构
阅读全文
MySQL 效率提高N倍的19条MySQL优化秘籍
摘要：一、EXPLAIN 做MySQL优化，我们要善用 EXPLAIN 查看SQL执行计划。 下面来个简单的示例，标注(1,2,3,4,5)我们要重点关注的数据 type列，连接类型。一个好的sql语句至少要达到range级别。杜绝出现all级别 key列，使用到的索引名。如果没有选择索引，值是NULL。
阅读全文
MySQL 数据库，主键为何不宜太长长长长长长长长？
摘要：回答星球水友提问：沈老师，我听网上说，MySQL数据表，在数据量比较大的情况下，主键不宜过长，是不是这样呢？这又是为什么呢？ 这个问题嘛，不能一概而论： （1）如果是InnoDB存储引擎，主键不宜过长； （2）如果是MyISAM存储引擎，影响不大； 先举个简单的栗子说明一下前序知识。 假设有数据表：
阅读全文
MySQL UTF8 转为 utf8mb4
摘要：https://mathiasbynens.be/notes/mysql-utf8mb4#utf8-to-utf8mb4 How to support full Unicode in MySQL databases Published 30th July 2012 · tagged with MyS
阅读全文
Mysql 为什么不建议在 MySQL 中使用 UTF-8？
摘要：最近我遇到了一个bug，我试着通过Rails在以“utf8”编码的MariaDB中保存一个UTF-8字符串，然后出现了一个离奇的错误： 我用的是UTF-8编码的客户端，服务器也是UTF-8编码的，数据库也是，就连要保存的这个字符串“😃”也是合法的UTF-8。 问题的症结在于，MySQL的“utf8
阅读全文
数据仓库模型建设基础及kimball建模方法总结
摘要：转载自：https://www.cnblogs.com/songyuejie/p/9427152.html 观察数据的角度称之为维。决策数据市多为数据，多维数据分析是决策分析的组要内容。 OLAP是在OLTP的基础上发展起来的，OLTP是以数据库为基础的，面对的是操作人员和底层管理人员，对基本数据进
阅读全文
Oracle 解决无法生成Snapshot问题
摘要：1. 概述 Specify the number of days of snapshots to choose from ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Entering the number of days (n) wi
阅读全文
ES 基础理论 配置调优
摘要：一、简介 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。 它不但包括了全文搜索功能，还可以
阅读全文
CentOS6.5 安装ES5.5
摘要：一、CURL查看已开启的ES es5.5：elasticsearch-5.5.2.tar.gz下载，百度云地址 https://pan.baidu.com/s/17oFOQlePLtUhhJHxEPRBcg 提取码 7x82 curl -XGET 192.168.56.60:9200 number表
阅读全文
ES 大批量写入提高性能的策略
摘要：1、用bulk批量写入 你如果要往es里面灌入数据的话，那么根据你的业务场景来，如果你的业务场景可以支持让你将一批数据聚合起来，一次性写入es，那么就尽量采用bulk的方式，每次批量写个几百条这样子。 bulk批量写入的性能比你一条一条写入大量的document的性能要好很多。但是如果要知道一个bu
阅读全文
centos6.5下安装docker的过程办法
摘要：转载：https://www.cnblogs.com/tymagic/p/10794477.html 在看了网上N多复制粘贴的文章，又尝试无效后，我把我最终成功的办法发出来，希望能帮到拼命干环境的你。 操作环境： centos6.5（Final） 内核：2.6.32-431.el6.x86_64 注
阅读全文
Linux Vbox 桥接模式上网配置
摘要：1、Bridged Adapter模式（桥接模式）特点： 1）如果主机可以上网，虚拟机可以上网 2）虚拟机之间可以ping通 3）虚拟机可以ping通主机 4）主机可以ping通虚拟机以上各点基于一个前提：主机可以上网 5）如果主机不可以上网， 所有1-4特点均无应用场景：虚拟机要求可以上网，且虚拟
阅读全文
