cangos

HIVE UDF函数和Transform

摘要： 1、编写UDF函数，来将原来创建的buck_ip_test表中的英文国籍转换成中文 iptest.txt文件内容：表数据截图： UdfTest.java代码如下：在eclipse测试无问题后，导出成utftest.jar并上传到服务器的/opt目录然后在Hive中进行查询：执行结果如下图：阅读全文

posted @ 2017-03-02 15:07 cangos 阅读(8990) 评论(0) 推荐(0)

HIVE入门

摘要：一、Hive基本原理 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类似sql查询（HQL）功能，可以将sql语句转换为MapReduce任务，避免开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Hive将元数据存储在数据库（RDBMS 阅读全文

posted @ 2017-02-23 21:37 cangos 阅读(441) 评论(0) 推荐(0)

Mapreduce中的reduce数量和分区控制

摘要： mapreduce中的reduce数量是由什么来进行控制的呢？ 1、numReduceTasks 如下是用来进行测试的一段wordcount的代码将上述代码打包成 parttest.jar，并上传到服务器的opt目录创建文件/opt/test.txt，并上传到hdfs的/tmp目录下文本内容如阅读全文

posted @ 2017-02-22 18:21 cangos 阅读(7675) 评论(0) 推荐(1)

MapReduce入门2-流量监控

摘要： 3、流量监控汇总（使用LongWritable实现）代码: 输出： 4、流量监控汇总（使用自定义的writable类NetflowWritable实现）输出：阅读全文

posted @ 2017-02-22 11:43 cangos 阅读(317) 评论(0) 推荐(0)

MapReduce入门

摘要：本文中的代码基于CDH的5.6版本编写 1、MrTest程序，模拟wordcount 输入文件：代码： 2、求最低温度代码：阅读全文

posted @ 2017-02-20 23:29 cangos 阅读(260) 评论(0) 推荐(0)

ORACLE学习第三天

摘要： 1、创建oracle用户：create user test identified by test;使用select * from dba_users可以查询到所有的用户2、创建用户时指定表空间：create user test identified by test default tablespace test temporary tablespace temp;3、查看数据库的默认表空间： select * from database_properties其中： DEFAULT_PERMANENT_TABLESPACEUSER Name of default permanent tables 阅读全文

posted @ 2012-02-20 17:24 cangos 阅读(245) 评论(0) 推荐(0)

ORACLE ROWID解析

摘要： 1、selectROWID from TT WHERE ROWNUM=1 FOR UPDATE 获取到一个ROWID:'AAAOcTAAJAAAAASAAB'2、ROWID 可以分为4段进行解析，使用64进制方式存储 AAAOcTAAJ AAAAAS AAB 段名称相对文件编号数据块编号数据块上第几条记录3、其中A-Z代表0-25，a-z代表26-51,0-9代表52-61，+代表62，/代表634、换算AAAOcT=14*64*64+28*64+19=59155AAJ=9 AAAAAS=18 AAB =15、通过select owner,object_name,obje 阅读全文

posted @ 2012-02-08 11:50 cangos 阅读(602) 评论(0) 推荐(0)

ORA-32773问题解决

摘要： 1。问题描述SQL> alter tablespaceTEST RESIZE 50M;alter tablespace TEST RESIZE 50M;*第 1 行出现错误:ORA-32773: 不支持对小文件表空间TEST 的操作2。问题分析与解决SQL> alter database datafile 9 RESIZE 50M;数据库已更改。不是修改表空间而是修改数据文件阅读全文

posted @ 2012-01-25 22:09 cangos 阅读(2112) 评论(0) 推荐(0)

ORACLE学习第二天

摘要： oracle逻辑结构（logical structure）（1）、database-->tablespaces-->segments-->extents-->blocks-->os blocks（2）、查询dba_tablespaces可以查看所有的表空间查询dba_data_files、dba_temp_files可以查看所有的数据文件查询dba_segments可以查看表空间使用哪些段（3）、表空间分为三种：永久：PERMANENT undo：临时：TEMPORARY（4）、使用数据文件比使用临时文件产生更多的日志（5）、表定义存放在system表空间阅读全文

posted @ 2012-01-18 15:48 cangos 阅读(209) 评论(0) 推荐(0)

ORACLE表空间迁移

摘要：今天给虚拟机扩展了空间，就顺带着做一次表空间迁移。操作环境：数据库：Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 表空间：LHRS 转移前使用的数据库文件：C:\oracle\product\10.2.0\oradata\orcl\LHRS01.DBF 转移后使用的数据库文件：D:\ORADATA\orcl\LHRS01.DBF 简要操作步骤：前提：手工将表空间所使用的数据库文件(C:\oracle\product\10.2.0\oradata\orcl\USERS01.DBF)，复制到你要转移的目录(D:... 阅读全文

posted @ 2012-01-10 17:31 cangos 阅读(5511) 评论(0) 推荐(0)

公告