摘要: 问题描述:前两天项目在客户那儿测试时,出现一个问题:ORA-12899: value too large for column。 解决思路: 一、首先想到的是,看源和目标字符集的字符集是否相同,因为吃太多字符集的亏了 一般情况下,数据库的NLS_CHARACTERSET 为AL32UTF8或UTF8 阅读全文
posted @ 2017-09-07 10:33 AlgorithmInit 阅读(5685) 评论(0) 推荐(0) 编辑
摘要: Hive复杂数据类型使用 摘抄自http://www.cnblogs.com/end/archive/2013/01/17/2863884.html Hive提供了复合数据类型 Structs: structs内部的数据通过dot(.)来存取,例如,表中一列c的数据类型为c{a int; b int 阅读全文
posted @ 2017-08-18 18:19 AlgorithmInit 阅读(123) 评论(0) 推荐(0) 编辑
摘要: Hive知识 一、建表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment],... 阅读全文
posted @ 2017-08-18 12:02 AlgorithmInit 阅读(602) 评论(0) 推荐(0) 编辑
摘要: 第一部分:Transformation算子操作,延迟操作,返回新的RDD Map算子 FlatMap算子 Filter算子 Distinct算子(有参数) Distinct算子(无参数) Coalesce算子 Repartition算子 Sample算子 RandomSplit算子 RandomSa 阅读全文
posted @ 2017-08-17 17:30 AlgorithmInit 阅读(417) 评论(0) 推荐(0) 编辑
摘要: HIVE的几种文件格式1、TEXTFILE 文本格式,默认格式,数据不做压缩,磁盘开销大,数据解析开销大 对应hive API为org.apache.hadoop.mapred.TextInputFormat和org.apache.hive.ql.io.HiveIgnoreKeyTextOutput 阅读全文
posted @ 2017-08-17 17:05 AlgorithmInit 阅读(3562) 评论(0) 推荐(0) 编辑
摘要: Hive数据类型: 原始数据类型: Integers: tinyint 1位整型 smallint 2位整型 int 4位整型 bigint 8位整型 布尔类型: boolean true/false 浮点: float 单精度 double 双精度 定点数: decimal 指定范围和小数点位 字 阅读全文
posted @ 2017-08-17 11:24 AlgorithmInit 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 1、主键的条件表中的任何列都可以作为主键,只要它满足以下条件: 任意两行都不具有相同的主键值;每一行都必须具有一个主键值(主键列不允许NULL值);主键列中的值不允许修改或更新;主键值不能重用(如果某行从表中删除,它的主键不能赋给以后的新行) sql语句一般返回原始的、无格式的数据。数据的格式化是表 阅读全文
posted @ 2017-07-31 17:20 AlgorithmInit 阅读(300) 评论(0) 推荐(0) 编辑
摘要: 整理摘录一些相关的东西: 1、字符集和字符编码 字符是各种文字和符号的总称,包括各个国家文字、标点符号、图形符号、数字等。字符集是多个字符的集合,字符集种类较多,每个字符集包含的字符个数不同,常见字符集有:ASCII字符集、ISO 8859字符集、GB2312字符集、BIG5字符集、GB18030字 阅读全文
posted @ 2017-07-24 10:58 AlgorithmInit 阅读(156) 评论(0) 推荐(0) 编辑
摘要: 区块链技术的模型是由自下而上的数据层、网络层、共识层、激励层、合约层和应用层组成。 首先是“数据层”,封装了底层数据区块的链式结构,以及相关的非对称公私钥数据加密技术和时间戳等技术,这是整个区块链技术中最底层的数据结构。这些技术是构建全球金融系统的基础,数十年的使用证明了它非常安全的可靠性。而区块链 阅读全文
posted @ 2017-06-16 17:01 AlgorithmInit 阅读(3493) 评论(1) 推荐(0) 编辑
摘要: 最近看了Think in JAVA,JAVA与模式,慢慢的对java有了一些认识,随着看书的过程中,会做一些感想,这里记下来,以备查阅。 笼统地说,java有两大模块,一是面向对象,二是实现细节。 面向对象,体现在设计模式上,满足“开闭”原则:对扩展开放,对修改关闭,如何实现?java与模式讲了一些 阅读全文
posted @ 2017-06-06 10:08 AlgorithmInit 阅读(104) 评论(0) 推荐(0) 编辑