随笔- 807
文章- 150
评论- 23
阅读-
151万
11 2019 档案
Oracle 查看index是否失效
摘要：一、普通索引是否失效 select * from dba_indexes s where s.owner in ('ISMP','BOSS','PAY','ACCOUNT','SETTLE','TEMP_DSF') and s.status!='VALID'; 二、分区索引状态select * fr
阅读全文
MongoDB 4.2 新特性解读 （转载）
摘要：MongoDB World 2019 上发布新版本 MongoDB 4.2 Beta，包含多项数据库新特性，本文尝试从技术角度解读。 Full Text Search MongoDB 4.2 之前，全文搜索（Full Text Search）的能力是靠 Text Index 来支持的，在 Mongo
阅读全文
简单概括下MongoDB 4.0 新特性
摘要：4.0 版本 （1）跨文档事务支持 （ACID） 首个支持跨文档事务的NoSQL云数据库，将文档模型的速度，灵活性和功能与ACID保证相结合。现在，使用MongoDB解决各种用例变得更加容易。 （4.0 的事务存在最大修改 16MB、事务执行时间不能过长的限制） （2）40%迁移速度提升 并发的读取
阅读全文
MongoDB 4.2 的主要亮点（转载）
摘要：在6月份召开的MongoDB全球用户大会上， MongoDB官宣了MongoDB Server 4.2，在经过100,000多个运行实例的测试后，MongoDB 4.2表现强劲。现在4.2版本正式上线，并为生产环境的部署做好了准备。 “MongoDB 4.2经受了100,000多个运行实例的考验，表
阅读全文
Redis 高可用架构设计（转载）
摘要：转载自：https://mp.weixin.qq.com/s?__biz=MzA3NDcyMTQyNQ==&mid=2649263292&idx=1&sn=b1703906840e177f854f543ca68e0f00&chksm=87675d42b010d454fed8ddcaa27a2f0a9
阅读全文
Oracle 分区默认segment大小变化(64k—>8M)
摘要：原文链接：http://www.cnblogs.com/wcwen1990/p/6656545.html _partition_large_extents和_index_partition_large_extents alter system set "_partition_large_extent
阅读全文
Oracle 对比insert和delete操作产生的undo
摘要：版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/wangqingxun/article/details/42098131 测试目标：对比insert和delete产生的undo数量的多少
阅读全文
MySQL 详细解读undo log ：insert undo,update undo
摘要：转自aobao.org/monthly/2015/04/01/ 本文是对整个Undo生命周期过程的阐述，代码分析基于当前最新的MySQL5.7版本。本文也可以作为了解整个Undo模块的代码导读。由于涉及到的模块众多，因此部分细节并未深入。 前言 Undo log是InnoDB MVCC事务特性的重要
阅读全文
什么是关系型数据库？
摘要：百度百科给的定义： 关系型数据库，是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。用户通过查询来检索数据库中的数据，而查询是一个用于限定数据库中某些区域的执行代码。关系模型可以简单理解为二维表格模型，而一个关系
阅读全文
Greenplum 常用数据库管理语句,sql工具
摘要：转载自：https://blog.csdn.net/you_xian/article/details/78549756作者：lianghc 在greenplum 使用过程中积累的一些常用查询语句，整理出来备忘。欢迎各位留言补充。都是SQL命令以及数据字典的使用。熟悉数据字典非常重要。三个重要的sch
阅读全文
Greenplum常用的gp_toolkit & pg_catalog监控语句
摘要：gp_toolkit 说明 Greenplum数据库提供了一个名为gp_tooikit的管理schema,该schema下有关于查询系统目录,日志文件, 用户创建(databases,schema,table,indexs,view,function)等信息,也可以查询资源队列,表的膨胀表,表的倾斜
阅读全文
Greenplum 与 PostgreSQL 修改元数据(catalog)的方法 allow_system_table_mods
摘要：背景 PostgreSQL大量的信息保存在元数据中，所有的元数据都是内部维护的，例如建表、建索引、删表等操作，自动维护元数据。 在某些迫不得已的情况下才可能需要直接对元数据进行修改。 默认情况下，用户是允许修改元数据的。 postgres=# \set VERBOSITY verbose postg
阅读全文
Greenplum 6 新功能 在线扩容工具GPExpand （转载）
摘要：Gpexpand是Greenplum数据库的扩容工具，可以为集群增加新节点从而可以存储更多的数据，提供更高的计算能力。Greenplum 5及之前，集群扩容需要停机增加新节点，然后对表数据做重分布。因为集群大小已经改变，所以重分布之前要先将所有哈希分布表改成随机分布，然后再按照新的集群大小重新计算哈
阅读全文
Pivotal Greenplum 6.0 新特性介绍
摘要：Pivotal Greenplum 6.0 新特性介绍 在1月12日举办的Greenplum开源有道智数未来技术研讨会上，Pivotal中国研发中心Greenplum 产品经理李阳向大家介绍了Pivotal Greenplum 6.0 新特性。 Greenplum是Pivotal公司投入研发十多年，
阅读全文
数据库 Hash Join的定义，原理，算法，成本，模式和位图
摘要：Hash Join只能用于相等连接，且只能在CBO优化器模式下。相对于nested loop join，hash join更适合处理大型结果集 Hash Join的执行计划第1个是hash表(build table)，第2个探查表(probe table)，一般不叫内外表，nested loop才有
阅读全文
Mycat 全局系列号（转载）
摘要：概述 本篇文章介绍mycat怎样在分库分表的情况下保证主键的全局唯一方法，接下来就来分析三种方法各自的优缺点。 配置 文件方式获取 1.修改server配置文件 vim server.xml <system><property name="sequnceHandlerType">0</propert
阅读全文
MySQL 分库分表 dble简单使用
摘要：一、运行环境 Host Name IP DB Mod data0 172.16.100.170 mysql data1 172.16.100.171 mysql data2 172.16.100.172 mysql 二、安装dble 1、上传安装dble 需要Java环境，1.8及以上版本 直接解压
阅读全文
MySQL 中间件 - DBLE 简单使用
摘要：DBLE 是企业级开源分布式中间件，江湖人送外号 “MyCat Plus”；以其简单稳定，持续维护，良好的社区环境和广大的群众基础得到了社区的大力支持； 环境准备 DBLE项目资料 DBLE官方网站：https://opensource.actionsky.com 可以详细了解DBLE的背景和应用场
阅读全文
CentOS yum repo
摘要：CentOS yum repo 官方arm版本 http://debuginfo.centos.org/7/aarch64/ 阿里云的 一个是Centos-6的 一个是Centos-7 # CentOS 5 wget -O /etc/yum.repos.d/CentOS-Base.repo http
阅读全文
MySQL 已有大数据量表进行分区踩坑
摘要：一、背景mysql 表中已有 4 亿数据，为提高查询效率，需创建分区，一开始计划是创建 HASH 分区，结果报错：ERROR 1659 (HY000): Field 'partno' is of a not allowed type for this type of partitioning1 查询
阅读全文
Greenplum 资源队列（转载）
摘要：1、创建资源队列语法 Command: CREATE RESOURCE QUEUEDescription: create a new resource queue for workload managementSyntax:CREATE RESOURCE QUEUE name WITH (queue
阅读全文
MySQL 开启慢查询日志与普通日志
摘要：一、开启满查询日志 1、查看慢查询日志 SHOW VARIABLES LIKE '%slow%'; 2、开启慢查询日志 set GLOBAL slow_query_log =on; 3、设置慢查询日志保存文件与路径 set GLOBAL slow_query_log_file='/tmp/mysql
阅读全文
Oracle iops测试
摘要：DECLARE lat INTEGER; iops INTEGER; mbps INTEGER;BEGIN DBMS_RESOURCE_MANAGER.CALIBRATE_IO(4, 10, iops, mbps, lat); DBMS_OUTPUT.PUT_LINE('max_iops = ' |
阅读全文
Impala内存优化（转载）
摘要：一. 引言 Hadoop生态中的NoSQL数据分析三剑客Hive、HBase、Impala分别在海量批处理分析、大数据列式存储、实时交互式分析各有所长。尤其是Impala，自从加入Hadoop大家庭以来，凭借其各个特点鲜明的优点博取了广大大数据分析人员的欢心。 Impala通过主节点生成执行计划树并
阅读全文
Impala 介绍（转载）
摘要：一、简介 1、概述 Impala是Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。 •基于Hive使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点 impala使用hive的元数据, 完全在内存中计算 •是CDH平台首选的PB级大数据实时查询
阅读全文
MySQL 硬链接删除大表
摘要：在清理整个大表时，我们推荐使用drop，而非delete。但是如果表实在太大，即使是drop，也需要消耗一定的时间。这时可以利用linux的硬连接来快速删除大表，操作过程如下：有一个大表test，共有4194304行数据，表空间文件大小为1.3Gmysql> select count(*) from
阅读全文
看图轻松理解数据结构与算法系列(NoSQL存储-LSM树) - 全文
摘要：《看图轻松理解数据结构和算法》，主要使用图片来描述常见的数据结构和算法，轻松阅读并理解掌握。本系列包括各种堆、各种队列、各种列表、各种树、各种图、各种排序等等几十篇的样子。 关于LSM树 LSM树，即日志结构合并树(Log-Structured Merge-Tree)。其实它并不属于一个具体的数据结
阅读全文
HBASE-LSM树（转载）
摘要：HBASE-LSM树 1.B+树 关于B树、B+树、B树的了解参考：* http://blog.csdn.net/v_july_v/article/details/6530142 优点： 走进搜索引擎的作者梁斌老师针对B树、B+树给出了他的意见（为了真实性，特引用其原话，未作任何改动）： “B+树还
阅读全文
NoSql数据库使用半年后在设计上面的一些心得 （转载）
摘要：NoSql数据库这个概念听闻许久了，也陆续看到很多公司和产品都在使用，优缺点似乎都被分析的清清楚楚。但我心里一直存有一个疑惑，它的出现究竟是为了解决什么问题？ 这个疑惑非常大，为此我看了很多分析文章，但却总感觉是隔靴搔痒。为了一探究竟，半年前我决定用Mongodb这个著名的NoSql数据库做个产品试
阅读全文
Linux shell if [ ]
摘要：[ -a FILE ] 如果 FILE 存在则为真。 [ -b FILE ] 如果 FILE 存在且是一个块特殊文件则为真。 [ -c FILE ] 如果 FILE 存在且是一个字特殊文件则为真。 [ -d FILE ] 如果 FILE 存在且是一个目录则为真。 [ -e FILE ] 如果 FIL
阅读全文
MySQL 锁查询
摘要：一、从视图查看 查看进程SHOW PROCESSLIST; // 查看是否锁表 SHOW OPEN TABLES WHERE In_use > 0; 1、查看当前的事务 SELECT * FROM INFORMATION_SCHEMA.INNODB_TRX; 2、查看当前锁定的事务 SELECT *
阅读全文
MySQL kill进程后出现killed死锁问题
摘要：公司同事删除一张大表的数据，本想直接drop表，但是使用了delete删除表，发现很慢，就kill了这个操作， 但是，kill后,表锁住了，因为在回滚表数据。 原文链接：https://blog.csdn.net/m0_37827567/article/details/82979767 经常会出现这
阅读全文
MySQL 实现 Oracle row_number over 数据排序功能
摘要：一、方法一GROUP_CONCAT、SUBSTRING_INDEX 1、GROUP_CONCAT 2、SUBSTRING_INDEX 3、例子 首先我们可以首先根据job_id 排序然后根据start_time进行二级排序 select * from action_history where lef
阅读全文
Oracle row_number() over() 分析函数--取出最新数据
摘要：语法格式：row_number() over(partition by 分组列 order by 排序列 desc) 一个很简单的例子 1，先做好准备 create table test1( id varchar(4) not null, name varchar(10) null, age var
阅读全文
FLUSH TABLE WITH READ LOCK详解
摘要：FLUSH TABLES WITH READ LOCK简称(FTWRL)，该命令主要用于备份工具获取一致性备份(数据与binlog位点匹配)。由于FTWRL总共需要持有两把全局的MDL锁，并且还需要关闭所有表对象，因此这个命令的杀伤性很大，执行命令时容易导致库hang住。如果是主库，则业务无法正常访
阅读全文
mysqldump 原理（转载）
摘要：mysqldump 备份过程可以描述为： (1) 先发出一条 flush tables 关闭实例上所有打开的表(2) 创建一个全局锁，FLUSH TABLES WITH READ LOCK获得 db 一致性状态。(3) 设置事务隔离级别为 RR ，确保备份事务中任何时刻的数据都相同。(4) 创建一个
阅读全文
Mysql 根据时间取出每组数据中最新的一条
摘要：下策——查询出结果后将时间排序后取第一条 select * from a where create_time<="2017-03-29 19:30:36"order by create_time desclimit 1这样做虽然可以取出当前时间最近的一条记录，但是一次查询需要将表遍历一遍，对于百万以
阅读全文
Centos 下 Apache 原生 Hbase + Phoenix 集群安装（转载）
摘要：前置条件 各软件版本：hadoop-2.7.7、hbase-2.1.5 、jdk1.8.0_211、zookeeper-3.4.10、apache-phoenix-5.0.0-HBase-2.0-bin.tar.gz 至少 3 台 Centos 服务器，主机名分别为：hadoop0001、hadoo
阅读全文
Oracle 11g 新特性 -- 自适应游标共享(Adaptive Cursor Sharing： ACS) 说明（转载）
摘要：一．自适应游标共享（Adaptive Cursor Sharing） 说明 1.1 ACS概述绑定变量使Oracle DB 可以为多条SQL 语句共享单个游标，以减少分析SQL 语句所使用的共享内存量。然而，游标共享和SQL 优化是两个相互冲突的目标。用文字编写SQL 语句为优化程序提供了更多的信息
阅读全文
Apache Phoenix系列 | 从入门到精通（转载）
摘要：原文地址：https://cloud.tencent.com/developer/article/1498057 来源: 云栖社区 作者: 瑾谦 By 大数据技术与架构 文章简介：Phoenix是一个开源的HBASE SQL层。它不仅可以使用标准的JDBC API替代HBASE client API
阅读全文
Phoenix 简单介绍
摘要：转载自：https://blog.csdn.net/carolzhang8406/article/details/79455684 1. Phoenix定义 Phoenix最早是saleforce的一个开源项目，后来成为Apache基金的顶级项目。 Phoenix是构建在HBase上的一个SQL层，
阅读全文
ES 调优查询亿级数据毫秒级返回！怎么做到的？--文件系统缓存
摘要：一道面试题的引入： 如果面试的时候碰到这样一个面试题：ElasticSearch(以下简称ES) 在数据量很大的情况下(数十亿级别)如何提高查询效率? 这个问题说白了，就是看你有没有实际用过 ES，因为啥?其实 ES 性能并没有你想象中那么好的。 很多时候数据量大了，特别是有几亿条数据的时候，可能你
阅读全文
Linux 文件系统缓存 -针对不同数据库有不同作用
摘要：文件系统缓存 filesystem cache 许多人没有意识到。文件系统缓存对于性能的影响。Linux系统默认的设置倾向于把内存尽可能的用于文件cache，所以在一台大内存机器上，往往我们可能发现没有多少剩余内存。（free命令显示的第二行输出，如下)。文件系统cache可以加速磁盘操作，使系统有
阅读全文
Hive 调优
摘要：今天总结本人在使用Hive过程中的一些优化技巧，希望给大家带来帮助。Hive优化最体现程序员的技术能力，面试官在面试时最喜欢问的就是Hive的优化技巧。 技巧1.控制reducer数量 下面的内容是我们每次在hive命令行执行SQL时都会打印出来的内容： In order to change the
阅读全文
从0到N建立高性价比的大数据平台（转载）
摘要：2016-07-29 14:13:23 钱曙光 阅读数 794 原文链接：https://blog.csdn.net/qiansg123/article/details/80124521 声明：本文为作者在CSDN技术公开课的分享原创整理，未经许可，禁止转载。 作者：郭炜，易观CTO，毕业于北京大学
阅读全文
Hive 模式设计
摘要：Hive看上去很像关系型数据库。不过，Hive实现和使用的方式和传统的关系型数据库非常不同。Hive是反模式的。 本文将重点介绍Hive中哪些模式是用户应该使用的，儿哪些是应该避免的 一、按天划分的表 这种每天一张表的方式在数据库领域是反模式的一种方式，但因为实际情况下，数据集增长的很快，这种方式应
阅读全文
Oracle 分区表中本地索引和全局索引的适用场景
摘要：背景 分区表创建好了之后，如果需要最大化分区表的性能就需要结合索引的使用，分区表有两种索引：本地索引和全局索引。既然存在着两种的索引类型，相信存在即合理。既然存在就会有存在的原因，也就是在特定的场景中就更能发挥出索引的性能的； 本文档通过测试，总结出两种索引的适合的场景； 测试环境 数据库版本：11
阅读全文
PostgreSQL 分区索引演进
摘要：PostgreSQL 分区表，操作性相当便捷。 但只能在创建时决定是否为分区表，并决定分区条件字段，普通表创建后，不能在修改为分区表。 Note：通过其他方法也可转化为分区表。 和其他数据库一样，分区表作为一个DB的特性，优点自不用说，物理分散，逻辑统一。 必须要注意的一个缺点是：分区表不允许其他表
阅读全文
PostgreSQL 11 新特性之覆盖索引（Covering Index）（转载）
摘要：通常来说，索引可以用于提高查询的速度。通过索引，可以快速访问表中的指定数据，避免了表上的扫描。有时候，索引不仅仅能够用于定位表中的数据。某些查询可能只需要访问索引的数据，就能够获取所需要的结果，而不需要再次访问表中的数据。这种访问数据的方法叫做 Index-Only 扫描。要想通过索引直接返回查询的
阅读全文
Centos7 源码安装PostgreSQL Citus集群 （转载）
摘要：citus的分布式集群目前在苏宁大规模应用，苏宁陈华军也做了很多技术分享和博客介绍。目前所有的教程都是rpm和pg一起安装，个人不喜欢，毕竟citus定位是个插件，我想在我已安装的pg上源码装一个citus比较好。 一 集群规划 主机名IP角色端口 coordinate 192.168.0.55 c
阅读全文
postgresql分布式集群之citus简介（转载）
摘要：一、Citus是什么 citus是PG的一个sharding插件，可以把PG变成一个分布式数据库。目前在苏宁有大量的生产应用跑在citus+pg的环境中。大家可以看it大咖视频。 citus是一款基于PostgreSQL的开源分布式数据库,自动继承了PostgreSQL强大的SQL支持能力和应用生态
阅读全文
Linux 数据库相关内核参数
摘要：cat >>/etc/sysctl.conf <<EOOF # add by digoal.zhou fs.aio-max-nr = 1048576 fs.file-max = 76724600 # 可选：kernel.core_pattern = /data01/corefiles/core_%e
阅读全文
MySQL 是怎么保证数据一致性的（转载）
摘要：在《写数据库同时发mq消息事务一致性的一种解决方案》一文的方案中把分布式事务巧妙转成了数据库事务。我们都知道关系型数据库事务能保证数据一致性，那数据库到底是怎么设计事务这一特性的呢？ 一、MySQL事务模型ACID MySQL是一个多引擎数据库，其中InnoDB支持数据库事务，也是最常用的引擎。下边
阅读全文
MySQL 必会知识
摘要：一、为什么用自增列作为主键 1、如果我们定义了主键(PRIMARY KEY)，那么InnoDB会选择主键作为聚集索引。 如果没有显式定义主键，则InnoDB会选择第一个不包含有NULL值的唯一索引作为主键索引。 如果也没有这样的唯一索引，则InnoDB会选择内置6字节长的ROWID作为隐含的聚集索引
阅读全文
Oracle 异步IO 优缺点
摘要：一、Oracle在Linux下使用异步IO配置 最近在测试Oracle的时候，很想测试下使用异步IO的性能。但是异步IO是需要专门配置的，否则的话，容易遇到很著名的“ORA-01578: ORACLE data block corrupted (file # 202, block # 257)”的问
阅读全文
ORA-609 错误分析及解决方法 （转载）
摘要：某个客户数据库在巡检的时候发现alert日志里不定期会出现ORA-609错误，大致内容如下： *********************************************************************** Fatal NI connect error 12537, c
阅读全文
Oracle ALERT日志中常见监听相关报错之二：ORA-3136错误的排查 （转载）
摘要：近期在多个大型系统中遇到此问题，一般来说如果客户端未反映异常的话可以忽略的。如果是客户端登陆时遇到ORA-12170: TNS:Connect timeout occurred，可以参考 http://blog.csdn.net/haibusuanyun/article/details/145172
阅读全文
Oracle 清理sysaux表空间
摘要：查看sysaux表空间使用排行 select SEGMENT_NAME,BYTES/1024/1024/1024 DGD from dba_segments where tablespace_name='SYSAUX' ORDER BY DGD DESC; I_WRI$_OPTSTAT_H_ST W
阅读全文
HiveQL Index 索引
摘要：Hive只有有限的索引功能。Hive中没有普通关系型数据库中键的概念，但是还是可以对一些字段建立索引来加速某些操作。一张表的索引数据存储在另外一张表中。 通过explain命令可以查看某个查询语句是否用到了索引。 一、创建索引 比如，有数据表: create table employees( nam
阅读全文
Oracle DG 三种模式
摘要：DG有下面三种模式– Maximum protection– Maximum availability– Maximum performance 在Maximum protection下， 可以保证从库和主库数据完全一样，做到zero data loss.事务同时在主从两边提交完成，才算事务完成。如
阅读全文
HiveQL 查询
摘要：一、select ...... from 语句 1、使用正则表达式来指定列 1）从表stocks中选择symbol列和列名以price作为前缀的列 select symbol,`price.*` from stocks; 2、使用列名进行计算 3、算术运算 4、使用函数 1）数学函数 2）聚合函数
阅读全文
Hive 实现update和delete（转载）
摘要：原文链接：https://blog.csdn.net/xueyao0201/article/details/79387647 因为业务要求，需要对Hive表进行delete，在官网查询后，发现update和delete是一类问题。在此总结下如何实现Hive表的delete和update。 首先，先看
阅读全文
HiveQL 数据装在与导出
摘要：一、向管理表中装载数据 1、向表中装载数据load 1）load语法 2）LOCAL 指的是操作系统的文件路径，否则默认为HDFS的文件路径 3）overwrite关键字 如果用户指定了overwrite关键字，那么目标文件夹中之前存在的数据将会被先删除掉。 如果指定，仅仅会把新增的文件增加到目标文
阅读全文
Hive 数据类型与文件格式
摘要：一、基本数据类型 1、基本数据类型 Tinyint 1byte有符号整数 比如20 Smalint 2byte有符号整数 比如20 Int 4byte有符号整数 比如20 Bigint 8byte有符号整数 比如20 Boolean 布尔类型，true或者false Float 单精度浮点类型 3.
阅读全文
Oracle NVL 函数 nvl nvl2
摘要：Oracle中函数以前介绍的字符串处理，日期函数，数学函数,以及转换函数等等，还有一类函数是通用函数。主要有：NVL,NVL2,NULLIF,COALESCE，这几个函数用在各个类型上都可以。 下面简单介绍一下几个函数的用法。 在介绍这个之前你必须明白什么是oracle中的空值null 1.NVL函
阅读全文
Oracle ACS 绑定变量窥视 条件
摘要：1. ACS简介 Oracle Database 11g提供了Adaptive Cursor Sharing (ACS)功能，以克服以往不该共享的游标被共享的可能性。ACS使用两个新指标：sensitivity and bindawareness来实施该特点。 2. ACS机制 2.1. Adapt
阅读全文
MySQL Create table as / Create table like
摘要：a、create table like方式会完整地克隆表结构，但不会插入数据，需要单独使用insert into或load data方式加载数据 b、create table as 方式会部分克隆表结构，完整保留数据 c、create table as select .. where 1=0 会克隆
阅读全文
Oracle CAST() 函数 数据类型的转换
摘要：CAST()函数可以进行数据类型的转换。 CAST()函数的参数有两部分，源值和目标数据类型，中间用AS关键字分隔。 以下例子均通过本人测试。 一、转换列或值 语法：cast( 列名/值 as 数据类型 ) 用例： 1）、转换列 --将empno的类型（number）转换为varchar2类型。 s
阅读全文
Oracle 日期型 将timestamp类型转换为date类型
摘要：Oracle将timestamp类型转换为date类型有三种方法 1、使用to_char先转为字符型，在使用to_date再转为日期型 select to_date(to_char(systimestamp,'yyyy/mm/dd hh24:mi:ss'),'yyyy/mm/dd hh24:mi:s
阅读全文
Sqoop 安装与简单测试
摘要：sqoop基于Hadoop与Hive Hadoop https://www.cnblogs.com/xibuhaohao/p/11772031.html Hive https://www.cnblogs.com/xibuhaohao/p/11772481.html 一、下载sqoop sqoop-1
阅读全文
Hadoop上 Hive 操作
摘要：数据dept表的准备： 数据文件准备： 数据表emp准备： 表emp数据准备： 把数据文件装到表里 查询语句 二、Hive分区hive分区的目的 * hive为了避免全表扫描，从而引进分区技术来将数据进行划分。减少不必要数据的扫描，从而提高效率。 hive分区和mysql分区的区别 * mysql分
阅读全文
