摘要:
rpm下载地址(86位) http://mirrors.163.com/centos/6/os/x86_64/Packages/ 下载好之后 使用rpm -ivh XXX.rpm命令安装即可 阅读全文
摘要:
1.数据结构Python中有三种内建的数据结构——列表、元组和字典(30).列表list是处理一组有序的数据结构,即你可以在一个列表中存储一个 序列 的数据。并且里面的值是能够被改变的列表中的项目应该包括在方括号中,这样Python就知道你是在指明一个列表。一旦你创建了一个列表,你可以添加、删除或是 阅读全文
摘要:
#①建分区表 CREATE EXTERNAL TABLE IF NOT EXISTS test_partiton_date( id int, name string ) PARTITIONED BY (ds string) ROW FORMAT DELIMITED FIELDS TERMINATED 阅读全文
摘要:
重启manager /etc/init.d/transwarp-manager restart在manager页面删除节点失败之后,去后台manager数据库删除role表和node表相关信息(有依赖关系,先删除role表信息(去node表找到相关ip的id),再删除node):#密码 cat /etc/transwarp-manager/master/db.properties #进... 阅读全文
摘要:
hive在进行数据load的时候报错。 Error: EXECUTION FAILED: Task MOVE error HiveException: [Error 20531] Unable to move source hdfs://nameservice1/tmp/logs to destin 阅读全文
摘要:
大文件在windows-linux之间的拆分合并 需求:在windows下载了一个安装包,很大,10G左右,这时候需要将这个安装包上传到生产环境的linux机器,或者windows的堡垒机。 但是上传速度很慢,文件过大很容易失败,又或者上传文件大小受限,这时候怎么办,就需要拆分合并大文件。 解决方法 阅读全文
摘要:
因为是hive的事务表,没有主键。需要删除一个table1中与table2有交集的数据。 DELETE FROM ods_logs_to_hive_orc.clw_user_srv WHERE (create_time,user_id) IN (SELECT t2.create_time,t2.us 阅读全文
摘要:
linux删除目录下的一个月前的文件。* .txt表示需要删除的文件的正则。 find 目录路径 -ctime +30 -name "*.txt" -exec /bin/rm -rf {} \; #删除一个月前的备份。#cd到当前脚本的目录。 cd `dirname $0`#匹配当前目录下存在的所有 阅读全文
摘要:
创建表 插入语句后,表数据如下。 将开始时间,结束时间的两个临时表创建视图 合并方法:找到最小的endtime,并且大于starttime。 以上方法是最笨的方法。还有很多优化的地方。 阅读全文
摘要:
附加:date_format的错误使用 阅读全文