2013年6月18日

expect安装

摘要: 1.使用yum安装expect,版本为5.44.1.15,tcl依赖包版本8.5.72.源代码下载http://nchc.dl.sourceforge.net/sourceforge/tcl/tcl8.4.11-src.tar.gzhttp://sourceforge.net/projects/expect/files/Expect/5.45/expect5.45.tar.gz/download3.源代码安装(1)安装tcltcl源代码根目录的子目录unix./configure --prefix=/usr/local/tcl --enable-sharedmake make install( 阅读全文

posted @ 2013-06-18 13:52 AI001 阅读(342) 评论(0) 推荐(0) 编辑

2013年6月17日

hadoop集群安装与配置--c#调用hive的thrift服务

摘要: 1.在hadoop.client上开始运行hive的thrift服务,命令如下bin/hive --service hiveserver2.通过NuGet安装hive的c#客户端,项目地址如下https://bitbucket.org/vadim/hive-sharp/3.c#调用服务demo代码int port = 10000;//注意hadoop.client服务器上防火墙一定打开10000端口 var socket = new TSocket("hadoop.client的ip", port); var transport = new TBufferedTranspo 阅读全文

posted @ 2013-06-17 11:46 AI001 阅读(665) 评论(0) 推荐(0) 编辑

hadoop集群安装与配置--sqoop安装

摘要: 1.Sqoop安装在hadoop.client上2.复制一份sqoop-env-template.sh,命名为sqoop-env.sh3.修改sqoop-env.sh的内容:export HADOOP_COMMON_HOME=/home/hadoopuser/hadoopexport HADOOP_MAPRED_HOME=/home/hadoopuser/hadoop/libexport HIVE_HOME=/home/hadoopuser/hive4.复制一份sqoop-site-template.xml,命名为sqoop-site.xml5.如果没有使用HBASE数据库,则需要修改bin/ 阅读全文

posted @ 2013-06-17 09:54 AI001 阅读(636) 评论(0) 推荐(0) 编辑

hadoop集群安装与配置---hive安装与配置

摘要: 1.hive安装在hadoop.client上2.解压缩安装在/home/hadoopuser下3.配置(1)复制一份hive-env.sh.template,取消.template后缀(2)更改hive-env.sh的内容:HADOOP_HOME=/home/hadoopuser/hadoop(3)复制一份hive-site.xml.template,取消.template后缀(4)更改hive-site.xml中如下的内容: hive.metastore.local true javax.jdo.option.ConnectionURL jdbc:mysql://lo... 阅读全文

posted @ 2013-06-17 09:48 AI001 阅读(321) 评论(0) 推荐(0) 编辑

hadoop集群安装与配置

摘要: 硬件五台服务器,一台master,三台slave,一台集群client网络设置机器名IP备注Hadoop.materip1Master,NamenodeHadoop.slave1ip2SlaveHadoop.slave2ip3SlaveHadoop.slave3ip4slaveHadoop.clientip5集群client,thrift服务承载系统设置安装操作系统centOS6.4版本每台机器均配置/etc/hosts文件,将除client以外的机器全部按照网络设置解析安装sun公司的Java-jdk,要求版本至少1.6以上,安装路径:/usr/java/default每台机器配置/etc/ 阅读全文

posted @ 2013-06-17 09:44 AI001 阅读(274) 评论(0) 推荐(0) 编辑

2013年5月17日

fedora18安装hadoop配置伪分布模式

摘要: 一、安装配置java1.下载rpmd对应版本2.安装sudo yum 安装文件路径,安装后在fedora18下安装后路径在/usr/java下,目前sun的java最高版本1.7.0_213.配置环境变量打开文件sudo gedit /etc/profile4.添加内容,在unset i一句话上面,注意里面的配置需要和系统中实际路径配合,所以有时候按照网上方法就会配置失败export JAVA_HOME=/usr/java/defaultexport JRE_HOME=/user/java/latestexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/li 阅读全文

posted @ 2013-05-17 13:38 AI001 阅读(154) 评论(0) 推荐(0) 编辑

2013年5月5日

couchbase安装fedora18上的问题

摘要: 在fedora18上安装couchbase服务端结果总是libssl.so.6找不到后来在产品论坛上先是看到一个10年的帖子,产品技术人员竟然说不支持fedora一个崩溃不过既然能支持redhat,应该不是大问题后来又看到一个近期的帖子,技术人员建议下载源代码自己编译构建下载,然后自己编译又报错,找不到文件的说好吧,四个小时彻底没心情了等到什么时间支持fedora直接安装了的再说 阅读全文

posted @ 2013-05-05 20:07 AI001 阅读(134) 评论(0) 推荐(0) 编辑

2013年4月26日

网络广告主要技术应用

摘要: 第一 广告监控 内涵:包括广告展示、点击、跳转、关键性页面的到达。这是传统的广告监控公司。 明星公司:doubleclick 第二 广告发布和媒体广告位管理 内涵:包括广告位的定义,各种尺寸的素材的支持,各种结算方式的支持(CPM和CPA)以及广告的轮流显示灯等。 明星公司:包括doubleclick,openx等。像doubleclick实际上是前两种广告技术都在做。 第三 网站用户行为跟踪和分析 内涵:用户在网站关键性页面的到达,就是网站用户行为跟踪的一个指标,其他指标还包括网站的跳出率,用户停留时间,用户的回访率,新旧用户比例等几十个指标。 明星公司:包括webtrend... 阅读全文

posted @ 2013-04-26 22:10 AI001 阅读(151) 评论(0) 推荐(0) 编辑

2013年4月16日

性能优化之如何杀掉它【2】

摘要: 自己就是一个乌鸦嘴刚刚说如何干掉一个64G内存的服务器结果就碰到的内存96G,20核的服务器就被干的差不多了CPU时而不时的狂飙的到70%~80%最夸张的是一个简单的查询功能,总共出来15条数据能够读硬盘三百多万次~~~~~由于目前系统绝对不能推到重来过,就只能一点点的优化了先搞数据库,sql profile跟踪,条件限定在cpu指数1000以上的规规矩矩的把索引建上,ok,有几个立刻效果明显的性能消耗下降了十几倍然后把能重用的数据放在变量中存起来,至少能少一次查询,也是50%的收获但是那些和表设计有关的造成的字符串匹配的只能另外想办法了,我的sql水平也不高,实现想不出有什么好办法解决sql 阅读全文

posted @ 2013-04-16 21:08 AI001 阅读(131) 评论(0) 推荐(0) 编辑

2013年4月12日

性能优化之如何杀掉它【1】

摘要: 给你一个Net程序系统你有信心快速的干掉它吗?有办法让它在即使小型机或者有64G的服务器上也慢的让蜗牛一样吗?曾经的经验会让我这样干最根本的方法我会让服务器变成网络公交,任黑客和脚本小子们来来往往,并且干脆的卸载掉杀毒软件,关掉防火墙。让服务器变成互联网病毒的种子库~~~~如果你不幸的有一个很负责的运维同事好吧,我会设计拥有500个字段以上的表,而且每张表中至少要承载两种功能的数据,并且select数据时,保证让任何索引失效,最大限度的使用like %%如果你的公司不幸比较有钱,请得起一位有着经验的DBA我可以通过他不了解的net程序去欺负他/她一次数据处理打开它100个数据库连接,并且读取数 阅读全文

posted @ 2013-04-12 23:35 AI001 阅读(127) 评论(0) 推荐(0) 编辑

导航