摘要：1.内部表指hive创建并通过load data inpath进数据库的表，这种表可以理解为数据和表结构都保存在一起的数据表。当你通过DROP TABLE table_name 删除元数据中表结构的同时，表中的数据也同样会从hdfs中被删除。[sql]view plaincopyCREATETABLEnew_hbase_table(rowkeystring,xint,yint)STOREDBY'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITHSERDEPROPERTIES("hbase.columns.mapp 阅读全文
Derby数据库简介
2013-03-21 06:15 by java20130722, 399 阅读, 0 推荐, 收藏,
摘要：一、Derby数据库介绍Apache Derby是一个完美的，100% Java编写的内存数据库，属于Apache的一个开源项目。并且是一个容易管理的关系数据库管理系统，可以和一些商业产品的特性进行交付。Apache Derby是一个与平台无关的数据库引擎，它以Java类库的形式对外提供服务。与其他难以部署的数据库不同，Derby数据库体积小、安装非常简单，只需要将其*.jar文件复制到系统中并为用户的项目添加该*.jar文件即可。另外在MyEclipse中集成了Derby数据库的插件应用，并且Derby还提供了Eclipse的插件供开发人员使用。尽管Derby很容易安装，但是它的特性却非常丰 阅读全文
Hive 中的Mapper个数
2013-03-21 03:22 by java20130722, 566 阅读, 0 推荐, 收藏,
摘要：Hive 中的Mapper个数的是由以下几个参数确定的：mapred.min.split.size，mapred.max.split.size ，dfs.block.sizesplitSize =Math.max(minSize, Math.min(maxSize, blockSize));map个数还与inputfilles的个数有关，如果有2个输入文件，即使总大小小于blocksize,也会产生2个map 阅读全文
linux 环境配置文件
2013-03-21 00:46 by java20130722, 266 阅读, 0 推荐, 收藏,
摘要：login 与 non-login shell在了解linux 环境配置文件前，先了解login 和non-login shell ,因为这两个取得 bash 的情况中,读取的配置文件数据并不一样所致login shell：取得 bash 时需要完整的登陆流程的，就称为 login shell。举例来说，你要由 tty1 ~ tty6 登陆，需要输入用户的账号与密码，此时取得的 bash 就称为『 login shell 』啰；non-login shell：取得 bash 接口的方法不需要重复登陆的举动，举例来说，(1)你以 X window 登陆 Linux 后， 再以 X 的图形化接口启 阅读全文
Android内存管理机制
2013-03-20 15:54 by java20130722, 265 阅读, 0 推荐, 收藏,
摘要：在android的开发中，要时刻主要内存的分配和垃圾回收，因为系统为每一个dalvik虚拟机分配的内存是有限的，在google的G1中，分配的最大堆大小只有16M，后来的机器一般都为24M，实在是少的可怜。这样就需要我们在开发过程中要时刻注意。不要因为自己的代码问题而造成OOM错误。JAVA的内存管理大家都知道，android应用层是由java开发的，android的davlik虚拟机与jvm也类似，只不过它是基于寄存器的。因此要了解android的内存管理就必须得了解java的内存分配和垃圾回收机制。在java中，是通过new关键字来为对象分配内存的，而内存的释放是由垃圾收集器（GC）来回收 阅读全文
Hadoop基于Shell命令与底层Unix操作系统的交互
2013-03-20 08:50 by java20130722, 426 阅读, 0 推荐, 收藏,
摘要：在阅读Hadoop源代码过程中，在org.apache.hadoop.security.UnixUserGroupInformation类中，需要获取到Unix系统的用户名和所属组的信息，就需要通过执行Shell命令得到相应的结果，这里，通过阅读Hadoop项目org.apache.hadoop.util包、org.apache.hadoop.fs.shell包、org.apache.hadoop.fs包中文件来了解，Hadoop基于Shell命令与底层Unix操作系统的交互，以及在MapReduce模型中通过命令行的方式提交管理计算任务的一些详细情况。首先看一下，与Unix系统命令行执行有关 阅读全文
android 应用性能提升
2013-03-20 06:47 by java20130722, 196 阅读, 0 推荐, 收藏,
摘要：虽然Android智能手机和平板电脑的速度一天比一天快，但是开发者必须记住一点：他们开发的应用程序仍在一种资源紧张的环境下运行，这种环境主要依赖性能与最新的台式机或笔记本电脑无法比拟的电池和处理器。下面介绍的一些方法可以帮助你的应用程序“瘦身”或者说“Android提升开发性能十大要点”，以便它们在今天和明天的Android设备上最顺畅地运行。先来说说确保应用程序响应迅即的几个编程要点。第一个要点：首先要有良好的编程习惯要成为一名优秀的资源管理员;既要运用常识，还要使用公认的算法和标准的设计模式。在资源使用方面，如果你打开了资源，要记得关闭资源。要尽量晚地获取，尽量早地释放。这些由来已久的编程 阅读全文
加密算法
2013-03-20 02:48 by java20130722, 234 阅读, 0 推荐, 收藏,
摘要：加密算法的分类按照加密后的信息是否可以被还原，常用的加密算法分为两大类：1.不可逆加密算法2. 可逆加密算法 2.1 对称式 2.2 非对称式不可逆加密算法：不可逆加密算法的特征是，加密过程中不需要使用密钥，输入明文后由系统直接经过加密算法处理成密文。这种加密后的数据是无法被解密的，只有重新输入明文，并再次经过同样不可逆的加密算法处理，得到相同的加密密文并被系统重新识别后，才能真正解密。 比如： md5和shs（Secure Hash Standard）可逆加密算法：对称式加密 加密和解密使用同一个密钥，通常称之为“Session Key ”。这种加密技术目前被广泛采用，如美国政府所采用的DE 阅读全文
C# 实现 FTP 上传和下载功能
2013-03-17 22:20 by java20130722, 588 阅读, 0 推荐, 收藏,
摘要：using System;
using System.Collections.Generic;
using System.Web;
using System.Net;
using System.IO; namespace His.WebService.Utility
{ public class FtpHelper { /// /// ftp方式上传 /// public static int UploadFtp(string filePath, string filename, string ftpSe... 阅读全文
利用cURL来获取网页信息-Using cURL to get webpage content
2013-03-17 20:29 by java20130722, 261 阅读, 0 推荐, 收藏,
摘要：#include #include #include #include #include extern "C" {
#include //#include #include } using namespace std; int writer(char* data, size_t size, size_t nmemb, string *buffer) { fprintf(stderr, "Hello, I am a function pointer\n"); int result = 0; if (buffer != NUL... 阅读全文
浙公网安备 33010602011771号