AI001

mahout的数据处理--【根据文本文件创建vector】

摘要： mahout有根据目录下文本转换为Vectors的工具。在创建vector前需要将文档转换为SequenceFile格式【hadoop存储文件的格式】。SequenceFile是key--value形式的存储。DocumentVectorizer 需要以unique类型为key，UTF-8格式的文本内容为value的数据格式。您可能会发现有助于提卡（http://lucene.apache.org/tika）转换成二进制文件以文本。mahout有一个漂亮的工具，它读取目录以及它的子目录以分块的方式为我们创建SequenceFile格式的数据。生成的文档的ID是/document.txt的形式。阅读全文

posted @ 2013-10-08 15:54 AI001 阅读(406) 评论(0) 推荐(0) 编辑

hbase编程demo

摘要： 1.在Buildpath添加需要引起用的jar，hbase的软件lib文件下的所有jar2.创建好一个列名为：c1,c2的表，表名：hbase_table1import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.HConnection; import org.apache.hadoop.hbase.client.HConnecti 阅读全文

posted @ 2013-09-30 16:12 AI001 阅读(309) 评论(0) 推荐(0) 编辑

hive0.11安装与配置

摘要：将原来的hive0.10的配置文件拷贝到0.11的conf下，然后将mysql中的hive库清掉运行hive，结果Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient仔细看看异常创建不了到mysql的连接。用用户直接登录mysql，没问题，那就是缺少连接器了仔细对比一下，原来是少了mysql-connector-java-5.1.25-bin.jar这个连接器，以前的hive0.10的日记文档也没记载这个东西，估计是当时忘记了把这个jar拷贝到lib文件夹下，果然ok了详细hive安装见http:/ 阅读全文

posted @ 2013-09-29 16:06 AI001 阅读(171) 评论(0) 推荐(0) 编辑

hadoop1.1.2升级1.2.1

摘要：运行命令:bin/hadoop namenode -upgrade进入升级信息展示然后就是漫长的数据升级，140G的数据升级了十几个小时到现在还没完成～～～阅读全文

posted @ 2013-09-27 10:20 AI001 阅读(134) 评论(0) 推荐(0) 编辑

hadoop 1.1.2和 hive 0.10 和hbase-0.94.10-security整合

摘要： 1.复制jar包,拷贝hbase-0.94.10-security.jar，hbase-0.94.10-security-tests.jar，zookeeper-3.4.5.jar，protobuf-java-2.4.0a.jar到hive/lib下，删掉lib下面旧版的jar包。　没有做网上资料所说的向hadoop拷贝jar和配置文件的动作，不过只有hbase有了一个下面的错误在60000上��|��)org.apache.hadoop.ipc.RPC$VersionMismatch��>Server IPC version 3 cannot communica 阅读全文

posted @ 2013-09-24 15:08 AI001 阅读(329) 评论(0) 推荐(0) 编辑

hbase配置

摘要：在已有hadoop和zookeeper的集群上安装hbase两个主要配置文件的内容conf/hbase-env.sh# #/** # * Copyright 2007 The Apache Software Foundation # * # * Licensed to the Apache Software Foundation (ASF) under one # * or more contributor license agreements. See the NOTICE file # * distributed with this work for additional informa. 阅读全文

posted @ 2013-09-22 17:36 AI001 阅读(445) 评论(0) 推荐(0) 编辑

hbase与storm的冲突

摘要：在原来的hadoop集群上安装hbase，由于使用的现有的zookeeper，配置文件写错了，就修改了配置文件，停止服务。结果发现有问题了，集群上安装的还有storm的集群，而且使用的也是同一套zookeeper。在hbase服务停止的时候storm的进程虽然也在运行，但是从storm的webUI界面上监控不到几个节点了。而监控机器性能的ganglia也有两个节点也是出现同样的问题，gmond服务莫名的挂掉了。而出问题的这两个节点的hbase服务就是杀不掉运行的hbase服务进程。将storm的僵尸进程全部杀掉（发现有的storm进程是莫名的消失了），然后逐个重启了一遍，webUI的界面上又能阅读全文

posted @ 2013-09-22 15:45 AI001 阅读(212) 评论(0) 推荐(0) 编辑

java调用wcf

摘要：下载文件http://axis.apache.org/axis2/java/core/tools/index.html下载：CodeGenerator Wizard - Eclipse Plug-in，Service ArchiveWizard - Eclipse Plug-in将下载的插件直接复制到eclipse的plugins下，重启eclipse。软件版本为1.6.2选择第一个，然后一步步接下去就可以了public static void main(String[] args) throws Exception { org.tempuri.Service1Stub stub = ... 阅读全文

posted @ 2013-09-13 17:48 AI001 阅读(236) 评论(0) 推荐(0) 编辑

wso2的Developer Studio缺斤少量问题

摘要：本来是打算省点力气就采用了eclipse上的Developer Studio自动安装结果该费事还是要费事显示缺少XmlSchema-1.4.7.jar，这个是从XmlSchema 1.4项目里挖掘出来自己补上的对应这个：java.lang.ClassNotFoundException: org.apache.ws.commons.schema.utils.NamespacePrefixList然后是这个异常：java.lang.ClassNotFoundException: javax.wsdl.WSDLException，缺少的是wsdl4j的jar下载了axis2的安装包，查看lib文件夹阅读全文

posted @ 2013-09-13 17:14 AI001 阅读(396) 评论(0) 推荐(0) 编辑

Cache的构造函数

摘要： net的Cache类的说明文档Cache的构造函数不是不适合在代码中直接使用，而是压根不能用，用了以后创建不了对象的用HttpRuntime.Cache赋予对象才可以。阅读全文

posted @ 2013-09-12 13:32 AI001 阅读(160) 评论(0) 推荐(0) 编辑