09 2015 档案
摘要:我使用的是CDH版本的这是我的sqoop脚本sudo -u hive sqoop import --connect jdbc:mysql://xxxx/rom3 --username xxx --password xxx --table xxx --hive-import --hive-table ...
阅读全文
摘要:使用setsid替代nohup使用 nohup 执行sudo -e时会有问题的。
阅读全文
摘要:jps出现process information unavailable(当然我ps -aux了,确定该进程是存在的),网上查找了原因,我的理解是这样:因为jps的进程信息是存储在/tmp/hsperfdata_{myuser}中,那么当我使用 root 操作jps时,发现其它用户启动的java进程...
阅读全文
摘要:其实主要就是一个坑,就是版本不对应的问题。我的环境是centos6.5,而官方提供的版本是分别针对centos6和centos5的,之前我进行软件实施的时候,下载的是centos5。。。。。。http://archive.cloudera.com/cdh5/parcels/latest/ 看这个链...
阅读全文
摘要:其实就是从网络上copy的吧,在这里做一下记录这个是看一下有哪些测试方式:hadoop jar /opt/cloudera/parcels/CDH-5.3.6-1.cdh5.3.6.p0.11/jars/hadoop-mapreduce-client-jobclient-2.5.0-cdh5.3.6...
阅读全文
摘要:时区确定cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime查看硬件时间hwclock --show将系统时间写入硬件时间hwclock --systohc同步时间ntpdate dlhtHadoop101同步的时候出现the NTP socket ...
阅读全文
摘要:会出现这个错误:not syncing attempted to kill init解决办法是:开机后一直按e然后按这个修改:https://www.deep-silver.com/kernel-panic-syncing-attempted-to-kill-init/
阅读全文
摘要:教程如下:http://www.nigesb.com/setup-your-own-vpn-with-pptp.html资源下载地址:http://pkgs.org/centos-6/epel-x86_64/pptpd-1.4.0-3.el6.x86_64.rpm.html感谢云哥
阅读全文
摘要:方法1:vi /etc/sysconfig/i18n默认为:LANG="en_US.UTF-8"SYSFONT="latarcyrheb-sun16"修改为:LANG="zh_CN.GBK"SUPPORTED="zh_CN.UTF-8:zh_CN:zh"SYSFONT="latarcyrheb-su...
阅读全文
摘要:下载第三方插件的地方:http://www.tuxera.com/community/open-source-ntfs-3g/这是具体教程:http://hellopyl.blog.51cto.com/4271020/932639卸载:ps -aux | grep 挂载的目录kill 掉然后再umo...
阅读全文
摘要:cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime好吧,使用tzselect又靠谱些,使用前把/etc/localtime删除了。 执行上前那个告诉我文件重新了,所以就没有搞了
阅读全文
摘要:所以公司内部是绝对不能有夫妻档的我算是接研发的数据处理这块的班所以我是要和和公司各种业务线的人做沟通研发的这哥们的老婆是负责商务这块的对接口和她沟通时不太配合,态度不太好我个人表示很努力的去推动事情但是事情结果不是想像的所以刚才特别有挫败感,抽了几只烟==#只能忍,没有办法所以啊,沟通真的是一件很困...
阅读全文
摘要:hive -e"select * from wyp">>local/wyp.txt其中我更喜欢弄好临时表,然后交互式查询时让相关人员自己去按逻辑处理数据,最后通过hdfs的webui进行数据下载
阅读全文
摘要:1、shell如何向python传递参数shell脚本python $sendmailCommandPath $optDatepython脚本lastDateFormat = sys.argv[1] shell如何接受python的返回值python脚本print "hello"shell脚本s=`...
阅读全文
摘要:现状:目前服务器使用带宽是2M,那么最大上行流量应该是250kb/s,而通过日志发现目前最大并发流量是350kb/s。问题:看到以上的结果时,我当时的疑问是最大并发流量超过了服务器最大上行流量,那么会不会有丢日志的可能?解决:通过多方面的咨询与查找资料,得到以下结论:1、我理解,tcp协议本身存在所...
阅读全文
摘要:解压:jar xvf temp.war topath
阅读全文
摘要:发现在notepad++写好的建表脚本,粘贴到linux客户端后,执行时总是报我的脚本有问题。我看了又看,发现建表脚本本身是没有问题,问题出在"Tab"键上和注释上边了。解决办法是,将"tab"的换成空格,同时在--与注释的文字中,添加空格做分隔,脚本如下:create table imei_inf...
阅读全文
摘要:其实问题主要集中的QQ企业邮箱中,特别坑爹。。。代码如下:from email.mime.multipart import MIMEMultipartfrom email.mime.base import MIMEBasefrom email.mime.text import MIMEText # ...
阅读全文
摘要:mysql -h host -u用户名 -p密码用户名需要-u开头,密码需要-p开头,看起来怪怪的。。。。
阅读全文
摘要:目前我的需求是在我的hadoop集群搭建起来前,能定时做一下简易指标的监控,目前我的方案就是在我的server机上,定时执行远程脚本出指标数据,然后通过python脚本发送邮件。远程执行脚本如下:ssh root@host "cat /home/harklee/test.log | grep uni...
阅读全文
摘要:在要远程登录别人的服务器中生成授权标识:ssh-keygen -t rsa上传至需被免登录的服务器:scp ~/.ssh/id_rsa.pub root@xx.xx.xx.xx:/root/.ssh/authorized_keys最后即可远程登录
阅读全文