09 2013 档案

hbase编程demo
摘要:1.在Buildpath添加需要引起用的jar,hbase的软件lib文件下的所有jar2.创建好一个列名为:c1,c2的表,表名:hbase_table1import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.HConnection; import org.apache.hadoop.hbase.client.HConnecti 阅读全文

posted @ 2013-09-30 16:12 AI001 阅读(311) 评论(0) 推荐(0) 编辑

hive0.11安装与配置
摘要:将原来的hive0.10的配置文件拷贝到0.11的conf下,然后将mysql中的hive库清掉运行hive,结果Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient仔细看看异常创建不了到mysql的连接。用用户直接登录mysql,没问题,那就是缺少连接器了仔细对比一下,原来是少了mysql-connector-java-5.1.25-bin.jar这个连接器,以前的hive0.10的日记文档也没记载这个东西,估计是当时忘记了把这个jar拷贝到lib文件夹下,果然ok了详细hive安装见http:/ 阅读全文

posted @ 2013-09-29 16:06 AI001 阅读(173) 评论(0) 推荐(0) 编辑

hadoop1.1.2升级1.2.1
摘要:运行命令:bin/hadoop namenode -upgrade进入升级信息展示然后就是漫长的数据升级,140G的数据升级了十几个小时到现在还没完成~~~ 阅读全文

posted @ 2013-09-27 10:20 AI001 阅读(137) 评论(0) 推荐(0) 编辑

hadoop 1.1.2和 hive 0.10 和hbase-0.94.10-security整合
摘要:1.复制jar包,拷贝hbase-0.94.10-security.jar,hbase-0.94.10-security-tests.jar,zookeeper-3.4.5.jar,protobuf-java-2.4.0a.jar到hive/lib下,删掉lib下面旧版的jar包。 没有做网上资料所说的向hadoop拷贝jar和配置文件的动作,不过只有hbase有了一个下面的错误在60000上�������|�������)org.apache.hadoop.ipc.RPC$VersionMismatch���>Server IPC version 3 cannot communica 阅读全文

posted @ 2013-09-24 15:08 AI001 阅读(331) 评论(0) 推荐(0) 编辑

hbase配置
摘要:在已有hadoop和zookeeper的集群上安装hbase两个主要配置文件的内容conf/hbase-env.sh# #/** # * Copyright 2007 The Apache Software Foundation # * # * Licensed to the Apache Software Foundation (ASF) under one # * or more contributor license agreements. See the NOTICE file # * distributed with this work for additional informa. 阅读全文

posted @ 2013-09-22 17:36 AI001 阅读(446) 评论(0) 推荐(0) 编辑

hbase与storm的冲突
摘要:在原来的hadoop集群上安装hbase,由于使用的现有的zookeeper,配置文件写错了,就修改了配置文件,停止服务。结果发现有问题了,集群上安装的还有storm的集群,而且使用的也是同一套zookeeper。在hbase服务停止的时候storm的进程虽然也在运行,但是从storm的webUI界面上监控不到几个节点了。而监控机器性能的ganglia也有两个节点也是出现同样的问题,gmond服务莫名的挂掉了。而出问题的这两个节点的hbase服务就是杀不掉运行的hbase服务进程。将storm的僵尸进程全部杀掉(发现有的storm进程是莫名的消失了),然后逐个重启了一遍,webUI的界面上又能 阅读全文

posted @ 2013-09-22 15:45 AI001 阅读(213) 评论(0) 推荐(0) 编辑

java调用wcf
摘要:下载文件http://axis.apache.org/axis2/java/core/tools/index.html下载:CodeGenerator Wizard - Eclipse Plug-in,Service ArchiveWizard - Eclipse Plug-in将下载的插件直接复制到eclipse的plugins下,重启eclipse。软件版本为1.6.2选择第一个,然后一步步接下去就可以了public static void main(String[] args) throws Exception { org.tempuri.Service1Stub stub = ... 阅读全文

posted @ 2013-09-13 17:48 AI001 阅读(237) 评论(0) 推荐(0) 编辑

wso2的Developer Studio缺斤少量问题
摘要:本来是打算省点力气就采用了eclipse上的Developer Studio自动安装结果该费事还是要费事显示缺少XmlSchema-1.4.7.jar,这个是从XmlSchema 1.4项目里挖掘出来自己补上的对应这个:java.lang.ClassNotFoundException: org.apache.ws.commons.schema.utils.NamespacePrefixList然后是这个异常:java.lang.ClassNotFoundException: javax.wsdl.WSDLException,缺少的是wsdl4j的jar下载了axis2的安装包,查看lib文件夹 阅读全文

posted @ 2013-09-13 17:14 AI001 阅读(399) 评论(0) 推荐(0) 编辑

Cache的构造函数
摘要:net的Cache类的说明文档Cache的构造函数不是不适合在代码中直接使用,而是压根不能用,用了以后创建不了对象的用HttpRuntime.Cache赋予对象才可以。 阅读全文

posted @ 2013-09-12 13:32 AI001 阅读(161) 评论(0) 推荐(0) 编辑

UrlRewriter的一个问题
摘要:使用UrlRewriter时候发现一个问题,采用VS开发服务器的情况下,是能起作用的,可以对地址进行正确重写不过因为开发需要项目采用的是在IIS Web服务器的的方式测试结果就不行了,明显的表现是压根不加载UrlRewriter模块(将UrlRewriter的源码项目加入到解决方案中,在VS开发服务器状态下调试能命中中断,IIS模式下就不行了)各种Google,百度,没一个靠谱的,而且都是抄来抄去找到一篇关于在win7下设置的文章,结果也是没有效果,文章里的UrlRewriter版本老了不过倒是意外发现了问题所以,在于web.config中的配置写法上。http://urlrewriter.n 阅读全文

posted @ 2013-09-11 18:47 AI001 阅读(147) 评论(0) 推荐(0) 编辑

Storm VS Hadoop
摘要:序号StormHadoopremark1实时或者接近实时,适合急脾气的工程师有最小计算时间(原生hadoop,不是各种各公司改装版的),喜欢钻探的工程师有福了2集群内存计算,网络直传数据hdfs传递数据,不同阶段的数据会在机器间通过存储转移3擅长对数据流中的每一个数据及时处理,但是进入系统的数据间不能有任何的逻辑前后关系逐个处理数据会把人气死,进入系统的数据有着一定的要求量4storm适合无间断的计算密集型,请求量24小时不间断的系统最好hadoop的工作有始有终,如果最好以它的计算时长最为请求间隔时间最佳5Storm的过程中不适宜检索大批量数据的操作hadoop的过程中可以对大批量数据各种玩 阅读全文

posted @ 2013-09-05 14:39 AI001 阅读(257) 评论(0) 推荐(0) 编辑

广告联盟反作弊一些常识
摘要:1. 站长为了赚钱,会故意增加广告的点击率,以此获得更多的收入。而广告联盟会对广告的点击率作控制, 目前一般是控制在5%以内,如果超过了这个比率,很有可能会被广告联盟判为作弊,然后被K掉。2. 站长重复点击广告的时候,会被INTERNET 中的小甜饼S记录下来, 如果再次点击,就是很明显的重复点击,也会被广告联盟K掉。即使清空IE中的小甜饼S以后再点击还是难逃法网。3. IP防止作弊:一般计费方式是按照24小时内唯一IP,可以将每个IP记入数据库,当下一个访问IP与数据库已存在的IP相同时,则不计费。现在上网一般是动态IP,作弊者通过拨号器上下线来实现改变IP地址,你可以通过C段IP来辨别,如 阅读全文

posted @ 2013-09-05 09:53 AI001 阅读(741) 评论(0) 推荐(0) 编辑

导航

点击右上角即可分享
微信分享提示