waxili

摘要： 1.修改JVM参数修改idea.vmoptions配置文件调整以下内容：-server-Xms256m-Xmx384m-XX:MaxPermSize=128m-XX:NewRatio=4-Xss128k-Dsun.awt.keepWorkingSetOnMinimize=true-Xms256m设置初时的内存数，你需要设置一个合理的值， 增加该值可以提高Java程序的启动速度。如果你的内存够大，如2G，可以设置到400m。-Xmx384m设置最大内存数，提高该值，可以减少内存Garage收集的频率，提高程序性能。-Dsun.awt.keepWorkingSetOnMinimize=true 可 阅读全文

摘要： Git内部有三种状态：已提交、已修改、已暂存（已修改的文件放在下次提交时要保存的清单）每个项目都有一个git 目录，它是Git 用来保存元数据和对象数据库的地方。该目录非常重要，每次克隆镜像仓库的时候，实际拷贝的就是这个目录里面的数据。• /etc/gitconfig文件：系统中对所有用户都普遍适用的配置。若使用git config 时用--system 选项，读写的就是这个文件。• ~/.gitconfig文件：用户目录下的配置文件只适用于该用户。若使用git config 时用--global 选项，读写的就是这个文件。• 当前项目的git 目录中的配置文件（也就是工作目录中的.git/c 阅读全文

摘要： import java.util.Arrays;public class HeapSort<E extends Comparable<E>> { /** * @param args */ private Object[] queue; private int size = 0; public HeapSort(Object[] queue) { this.size = queue.length; this.queue = queue; } private void heapsort() { Object tmp; while (size != 0) { heapify( 阅读全文

摘要： 一.hadoop作业的运行方式编写MR作业之后需要将代码打成jar包，hadoop会在集群上分发该作业jar包。当用hadoop jar运行一个非MR作业时（写了的一个存储程序，在指定端口接受连接，然后存到hadoop集群中），hadoop不会再集群上分发该jar文件（因为不是MR作业），只会在运行该任务的机器上执行该程序。1.在windows上编写调试程序，然后用eclipse打包工具打成jar包，没有直接打成可运行的jar包，因为那样会把用到的多有的jar包打进来，程序文件很大，而hadoop集群上有这些jar包，所以多此一举，然后再jar包的资源清单文件中添加Main-Class项，然后 阅读全文

摘要： apt-get install mysql-servermysql -u root -pcreate user 'hive'@'localhost' identified by 'hive';grant all on hive.* to 'hive'@'localhost';解压hive安装文件，进入conf目录将jdbc驱动放入hive/lib下复制一份hive-env.sh 和hive-site.xml文件修改hive-site.xml配置文件内容。在启动hive是没有问题。使用hive命令：show tabl 阅读全文

摘要： 机器学习的中心问题就是从特殊的训练样例中归纳出一般函数，也就是在预定义的假设空间中搜索假设，使其与训练样例有最佳的拟合度。概念学习：从有关某个布尔函数的输入输出训练样例中推断出该布尔函数。术语定义：X 实例集合（所有可能的实例取值集合）C 目标概念（待学习的概念或函数）H 所有可能得假设空间D 训练样例的集合,通常由<x,c(x)>表示寻找一个假设h，使得对于X中所有的x都有h(x)=c(x).归纳学习假设：任意假设如果在足够大的训练样例集中很好的逼近目标函数，它也可能在未见的实例中很好的逼近目标函数。可以把找最佳拟合的过程看成是在假设空间中搜索的过程，这样就把学习问题转化为搜索问 阅读全文

摘要： jar 命令详解jar {ctxu}[vfm0M] [jar-文件] [manifest-文件] [-C 目录] 文件名 ...其中 {ctxu} 是 jar 命令的子命令，每次 jar 命令只能包含 ctxu 中的一个，它们分别表示：　-c　创建新的 JAR 文件包　-t　列出 JAR 文件包的内容列表　-x　展开 JAR 文件包的指定文件或者所有文件　-u　更新已存在的 JAR 文件包 (添加文件到 JAR 文件包中)　[vfm0M] 中的选项可以任选，也可以不选，它们是 jar 命令的选项参数　-v　生成详细报告并打印到标准输出　-f　指定 JAR 文件名，通常这个参数是必须的　-m　指 阅读全文

摘要： Hive将Sql查询转化为一系列在hadoop集群上运行的MapReduce作业。create table records (year string, temperature int, quality int)row format delimited 说明文本是按行分割的，也可使用serde字句来指定所使用的工具fields terminated by '\t'; 行分隔符为制表符选项 默认值 作用hive.metastore.warehouse.dir /user/hive/warehouse 仓库目录javax.... 阅读全文

摘要： 本人是在vmware虚拟机下装的ubuntu server 12.04，配置好之后直接把虚拟机文件copy了两份，也就是说集群中有三个主机，本来想偷懒，我把几个虚拟机文件放在了同一个目录，只是把后来copy的两份名字改了一下，在vmware下安装ubuntu server的时候选择了预先分配硬盘空间，这样会形成两个文件：xxxx.vmdk xxxx-falt.vmdk，第二个才是真正的虚拟机文件，第一个估计是配置文件，创建虚拟机的时候选择必须选择第一个文件，选择第二个出错，提示不是vmdk文件，但我单纯的把xxxx.vmdk改为xxxx1.vmdk，把xxxx-falt.vmdk改为xxxx1 阅读全文

摘要： 1， 从集群中移走节点，需要对移走节点的数据进行备份：在主节点的hdfs-site.xml配置文件中添加如下内容：<property> <name>dfs.hosts.exclude</name> <value>/home/lqh/hadoop/excludes</value></property>说明dfs.hosts.exclude：指要删除的节点/home/lqh/hadoop/excludes：指定要被删除节点的文件2， /home/lqh/hadoop/excludes内容为删除节点的ip地址，每行一个192.1 阅读全文