2019年11月1日
摘要：
数据dept表的准备： 数据文件准备： 数据表emp准备： 表emp数据准备： 把数据文件装到表里 查询语句 二、Hive分区hive分区的目的 * hive为了避免全表扫描，从而引进分区技术来将数据进行划分。减少不必要数据的扫描，从而提高效率。 hive分区和mysql分区的区别 * mysql分 阅读全文
2019年11月1日
2019年10月31日
摘要：
本安装依赖Haddop2.8安装 https://www.cnblogs.com/xibuhaohao/p/11772031.html 一、下载Hive与MySQL jdbc 连接驱动 apache-hive-2.3.6-bin.tar.gz 官方网站 mysql-connector-java-5. 阅读全文
摘要：
格式化namenode时报错警告：WARN common.Util: Path /data/dfs/name should be specified as a URI in configuration 一、问题分析 在执行hadoop namenode格式化命令：bin/hadoop namenod 阅读全文
摘要：
1、本脚本为服务器用户间密码互信登录脚本 2、依赖 需要安装expect工具 3、使用 sh CreateUserssh.sh hadoop hadoop /home/hadoop/.ssh 三个带入参数 1）用户名 2）密码 3）用户ssh密钥路径 4、脚本内容 #!/bin/bash####脚本 阅读全文
摘要：
一、下载Hadoop与java jdk-8u221-linux-x64.tar.gz Oracle官网下载 hadoop-2.8.5.tar.gz Hadoop官网下载 二、配置服务期间ssh免密互通 使用如下互信安装脚本 https://www.cnblogs.com/xibuhaohao/p/1 阅读全文
摘要：
--Oracle trunc()函数的用法/**************日期********************/1.select trunc(sysdate) from dual --2013-01-06 今天的日期为2013-01-062.select trunc(sysdate, 'mm' 阅读全文
摘要：
简要比较： replace 字符串级别的代替 如：SELECT REPLACE('accd','cd','ef') from dual; --> aefd translate 字符级别的代替 如：select translate('acdd','cd','ef') from dual; -->aef 阅读全文
摘要：
1、substr函数格式 (俗称：字符截取函数) 格式1： substr(string string, int a, int b); 格式2：substr(string string, int a) ; 解释： 格式1： 1、string 需要截取的字符串 2、a 截取字符串的开始位置（注：当a等于 阅读全文
摘要：
instr()函数的格式 （俗称：字符查找函数） 格式一：instr( string1, string2 ) / instr(源字符串, 目标字符串) 格式二：instr( string1, string2 [, start_position [, nth_appearance ] ] ) / in 阅读全文
摘要：
触发器无需commit也不能写commit触发器和触发它的DML是同一个事务DML提交了，触发器的操作也提交了，要不就一起回滚了当然，如果你一定要在触发器里写COMMIT那就用自治事务相当于一个事务里的子事务 正常情况下，Oracle规定在触发器中不能运行 ddl语句和commit，rollback 阅读全文
2019年10月30日
摘要：
At application level you can use the following methods to set client_info, module and action in v$session: 阅读全文
2019年10月24日
摘要：
一、测试环境 1、MySQL表结构 mysql> show create table autoextend\GCREATE TABLE `autoextend` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `name` varchar(30) DEFAULT 阅读全文
摘要：
本文链接：https://blog.csdn.net/u012299594/article/details/84551722 概述 为了满足在性能和冗余等方面的需求，LVM支持了下面三种Logic Volume： Linear Logic Volume --线性逻辑卷 Striped Logic V 阅读全文
2019年10月23日
摘要：
相信大家已经对 kafka 的基本概念已经有一定的了解了，下面直接来分析一下 ISR 和 AR 的概念。 0|1ISR and AR 简单来说，分区中的所有副本统称为 AR (Assigned Replicas)。所有与leader副本保持一定程度同步的副本（包括leader副本在内）组成 ISR 阅读全文
摘要：
|1什么是 Rebalance Rebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 consumer 如何达成一致，来分配订阅 Topic 的每个分区。 例如：某 Group 下有 20 个 consumer 实例，它订阅了一个具有 100 个 partitio 阅读全文
摘要：
cd /root/kafka/kafka_2.10-0.8.2.2/bin 1、查看kafka topic kafka-topics.sh --list --zookeeper 172.16.100.155:2181 2、查看topic的生产者与消费者消息 kafka-topics.sh --des 阅读全文
2019年10月22日
摘要：
使用CentOS6.5、python3.6、kafkaScala 2.10 - kafka_2.10-0.8.2.2.tgz (asc, md5) 一、下载kafka 下载地址 https://kafka.apache.org/downloads 里面包含zookeeper 二、安装Kafka 1、 阅读全文
摘要：
Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。即使是普通的服务器，Kafka也可以轻松支持每秒百万级的写入请求，超过了大部分的消息中间件，这种特性也使得Kafka在日志处理等海量数据场景广泛应用。 阅读全文
摘要：
数据层的存储一般如下： Data Source 数据源一般是业务库和埋点，当然也会有第三方购买数据等多种数据来源方式。业务库的存储一般是Mysql 和 PostgreSql。 ODS 层 ODS 的数据量一般非常大，所以大多数公司会选择存在HDFS上，即Hive或者Hbase，Hive居多。 ODS 阅读全文
2019年10月15日
摘要：
前言 考察下面的脚本： ? 1 emcc -o ./dist/test.html --shell-file ./tmp.html --source-map-base dist -O3 -g4 --source-map-base dist -s MODULARIZE=1 -s "EXPORT_NAME 阅读全文
2019年10月14日
摘要：
ODS （操作数据存储） 操作数据存储ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分，也被称为贴源层。ODS具备数据仓库的部分特征和OLTP系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。 操作数据存储ODS（Operation 阅读全文
摘要：
原文链接：https://www.jianshu.com/p/72e395d8cb33 今天看了一些专业的解释，还是对ODS、DW和DM认识不深刻，下班后花时间分别查了查它们的概念。 ODS——操作性数据 DW——数据仓库 DM——数据集市 1.数据中心整体架构 数据中心整体架构 数据仓库的整理架构 阅读全文
摘要：
一、EXPLAIN 做MySQL优化，我们要善用 EXPLAIN 查看SQL执行计划。 下面来个简单的示例，标注(1,2,3,4,5)我们要重点关注的数据 type列，连接类型。一个好的sql语句至少要达到range级别。杜绝出现all级别 key列，使用到的索引名。如果没有选择索引，值是NULL。 阅读全文
摘要：
回答星球水友提问：沈老师，我听网上说，MySQL数据表，在数据量比较大的情况下，主键不宜过长，是不是这样呢？这又是为什么呢？ 这个问题嘛，不能一概而论： （1）如果是InnoDB存储引擎，主键不宜过长； （2）如果是MyISAM存储引擎，影响不大； 先举个简单的栗子说明一下前序知识。 假设有数据表： 阅读全文
摘要：
https://mathiasbynens.be/notes/mysql-utf8mb4#utf8-to-utf8mb4 How to support full Unicode in MySQL databases Published 30th July 2012 · tagged with MyS 阅读全文
摘要：
最近我遇到了一个bug，我试着通过Rails在以“utf8”编码的MariaDB中保存一个UTF-8字符串，然后出现了一个离奇的错误： 我用的是UTF-8编码的客户端，服务器也是UTF-8编码的，数据库也是，就连要保存的这个字符串“😃”也是合法的UTF-8。 问题的症结在于，MySQL的“utf8 阅读全文
2019年10月12日
摘要：
转载自：https://www.cnblogs.com/songyuejie/p/9427152.html 观察数据的角度称之为维。决策数据市多为数据，多维数据分析是决策分析的组要内容。 OLAP是在OLTP的基础上发展起来的，OLTP是以数据库为基础的，面对的是操作人员和底层管理人员，对基本数据进 阅读全文
摘要：
1. 概述 Specify the number of days of snapshots to choose from ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Entering the number of days (n) wi 阅读全文
摘要：
一、简介 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。 它不但包括了全文搜索功能，还可以 阅读全文
2019年10月11日
摘要：
一、CURL查看已开启的ES es5.5：elasticsearch-5.5.2.tar.gz下载，百度云地址 https://pan.baidu.com/s/17oFOQlePLtUhhJHxEPRBcg 提取码 7x82 curl -XGET 192.168.56.60:9200 number表 阅读全文
2019年10月10日
摘要：
1、用bulk批量写入 你如果要往es里面灌入数据的话，那么根据你的业务场景来，如果你的业务场景可以支持让你将一批数据聚合起来，一次性写入es，那么就尽量采用bulk的方式，每次批量写个几百条这样子。 bulk批量写入的性能比你一条一条写入大量的document的性能要好很多。但是如果要知道一个bu 阅读全文
2019年10月8日
摘要：
转载：https://www.cnblogs.com/tymagic/p/10794477.html 在看了网上N多复制粘贴的文章，又尝试无效后，我把我最终成功的办法发出来，希望能帮到拼命干环境的你。 操作环境： centos6.5（Final） 内核：2.6.32-431.el6.x86_64 注 阅读全文
摘要：
1、Bridged Adapter模式（桥接模式）特点： 1）如果主机可以上网，虚拟机可以上网 2）虚拟机之间可以ping通 3）虚拟机可以ping通主机 4）主机可以ping通虚拟机以上各点基于一个前提：主机可以上网 5）如果主机不可以上网， 所有1-4特点均无应用场景：虚拟机要求可以上网，且虚拟 阅读全文
2019年9月26日
摘要：
在plsql中，存储过程中的out模式的参数可以用来返回数据，相当于函数的返回值。下面是一个小例子。 沿用上一篇的emp表结构和数据。 存储过程如下： 在命令行中调用该存储过程，利用绑定变量 这是在plsql developer下运行的结果，这个工具是一个很好的oracle的可视化编程工具。 转载自 阅读全文
2019年9月24日
摘要：
本文链接：https://blog.csdn.net/q936889811/article/details/85612046 文章目录 1、错误：数据库初始化：gpinitsystem -c gpconfigs/gpinitsystem_config -h list 2、错误 ：执行检查：gpche 阅读全文
2019年9月23日
摘要：
一款免费的shell工具 MobaXterm_Personal 阅读全文
摘要：
说假设有一个1000台节点的Hadoop集群，要配置节点之间的SSH免密码登录，该如何用shell脚本实现？#!/bin/expect #循环1000台机器的IP地址，生成密钥文件authorized_keys for ip in {cat ip.list}do ssh user@$ip ssh-k 阅读全文
摘要：
在《高性能Mysql》这本书的‘如何使用分区’这一小章中，列举的常见问题中，有以下一个问题： 分区列和索引列不匹配 如果定义的索引列和分区列不匹配，会导致查询无法进行分区过滤。假设在列a上定义了索引，而在列b上定义的分区。因为每个分区都有其独立的索引，所以扫描列b上的索引就需要扫描每个分区内对应的索 阅读全文
2019年9月19日
摘要：
echo显示带颜色，需要使用参数-e格式如下:echo -e "\033[字背景颜色;文字颜色m字符串\033[0m"例如: echo -e "\033[41;37m TonyZhang \033[0m"其中41的位置代表底色, 37的位置是代表字的颜色 注：1、字背景颜色和文字颜色之间是英文的“" 阅读全文