摘要: 1.下载文件到本地 public class HdfsUrlTest { static{ //注册url 让java程序识别hdfs的url URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); } public stati 阅读全文
posted @ 2018-08-16 17:20 李有病 阅读(377) 评论(0) 推荐(0) 编辑
摘要: Linux环境设置/*安装Hadoop集群时要确保以下几个方面1.本机与虚拟机之间是否可以通信(Ping)。如果不行检查下面 1.1本机防火墙关闭(开启情况是本机可以ping虚拟机,虚拟机不能ping本机) 1.2虚拟机是克隆的情况(按照Linux文档中,修改ip地址等方法) 1.3虚拟机设置--网 阅读全文
posted @ 2018-08-16 16:53 李有病 阅读(216) 评论(0) 推荐(0) 编辑
摘要: 1.创建oracle表:CREATE TABLE a( ORDER_ID INT NOT NULL, ORDER DATE, TOTAL INT,ID VARCHAR(40))PARTITION BY LIST (ORDER_DATE)( PARTITION P_20170101 VALUES (2 阅读全文
posted @ 2018-08-16 16:35 李有病 阅读(123) 评论(0) 推荐(0) 编辑
摘要: 1.、字符串长度计算函数:length语法: length(string A),返回值: int说明:返回字符串A的长度例子:hive> select length('iteblog') from iteblog;72.、字符串反转函数:reverse语法: reverse(string A)返回值 阅读全文
posted @ 2018-08-16 16:29 李有病 阅读(416) 评论(0) 推荐(0) 编辑
摘要: 1.创建hive表:create table tabname(id int,name string)partitioned by (year int,month int,day int)row format delimited fields terminated by'\t'lines termin 阅读全文
posted @ 2018-08-16 16:28 李有病 阅读(179) 评论(0) 推荐(0) 编辑
摘要: 1、等值比较: =语法:A=B操作类型:所有基本类型描述: 如果表达式A与表达式B相等,则为TRUE;否则为FALSEhive> select 1 from iteblog where 1=1;2、不等值比较: <>语法: A <> B操作类型: 所有基本类型描述: 如果表达式A为NULL,或者表达 阅读全文
posted @ 2018-08-16 16:24 李有病 阅读(823) 评论(0) 推荐(0) 编辑
摘要: 1.创建表:create 'tablename','cloumnfamily1','columnfamily2'2.表描述:describe 'tablename'3.删除列族:(1)disable‘tablename’(2)alter'tablename',NAME=>'cloumnfamily2 阅读全文
posted @ 2018-08-16 16:21 李有病 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 1.下面是一个topic数据出现堵塞的情况示图。 如图所示,delta列表示当前分区未处理的数据条数,kafka current表示推送到topic的数据量,spout current表示已经处理的数据量。 这种情况有几种可能:数据有问题,配置文件有问题,代码有问题,显然这些都是废话,差不多也就这几 阅读全文
posted @ 2018-08-08 14:37 李有病 阅读(164) 评论(0) 推荐(0) 编辑
摘要: 接下来是最近遇到的一个代理问题。 背景:一个基于python2.7的自动化测试项目 目的:因调试需求,需要通过代理连接其他公司的前端网站,来检验项目运行所在的问题。 问题:RUN>等了1分钟没有任何提示,之后抛出异常,raise ConnectionError(e, request=request) 阅读全文
posted @ 2018-08-06 17:09 李有病 阅读(1040) 评论(0) 推荐(2) 编辑
摘要: 工具压缩包链接 密码:zbef 1.将压缩包放到linux的任意目录下,执行:tar zxvf lrzsz-0.12.20.tar.gz 解压压缩包 2.cd lrzsz-0.12.20 3../configure --prefix=/usr/local/lrzsz 4.make 5.make in 阅读全文
posted @ 2018-08-02 16:05 李有病 阅读(123) 评论(0) 推荐(0) 编辑
1 2