crr121 - 博客园

摘要： order by :全排序，所有的任务分配在一个reduce上面,将会花费大量的时间，可以保证全局有序同时还需要设置下面两个参数：hive> set sethive.strict.checks.large.query=false;#大规模查询的检查为falsehiv... 阅读全文

posted @ 2018-09-03 22:11 crr121 阅读(348) 评论(0) 推荐(0) 编辑

摘要：创建表的时候使用的字段分隔符和加载的文本数据里面的分隔符一致，否则加载到表里面的数据为NULLps:创建表结构，使用逗号为字段分隔符。hive> create table order_info(oid int,oname string,price int,cid in... 阅读全文

posted @ 2018-09-03 21:16 crr121 阅读(168) 评论(0) 推荐(0) 编辑

摘要：阅读全文

posted @ 2018-09-03 21:01 crr121 阅读(132) 评论(0) 推荐(0) 编辑

摘要：参考博客：一个hive小案例：使用HIVE进行单词统计, 并把结果存入mysql问题：统计客户某个年龄有多少人客户表信息hive> desc customer_info;OKid intname ... 阅读全文

posted @ 2018-09-03 11:21 crr121 阅读(658) 评论(0) 推荐(0) 编辑

摘要：内连接查询hive> select * from customer as c , orderInfo as o where c.id = o.cid;11 tom1 1 cc price1 1112 tom2 2... 阅读全文

posted @ 2018-08-28 17:21 crr121 阅读(354) 评论(0) 推荐(0) 编辑

摘要：我所做的：在本地生成公钥和私钥，然后将公钥复制到github中的ssh keys$ ssh-keygen -t rsa -C "username"#the username is the account of your github $ cat ~/.ssh/id_r... 阅读全文

posted @ 2018-08-23 11:58 crr121 阅读(843) 评论(0) 推荐(0) 编辑

摘要： jupyter notebook 执行命令的时候报错：IndentationError: unexpected indent （意外的缩进）resolution：去掉空格阅读全文

posted @ 2018-08-22 10:15 crr121 阅读(674) 评论(0) 推荐(0) 编辑

摘要：在jupyter notebook 中打开ipynb文件时报错：File "e:\python36\lib\site-packages\traitlets\config\loader.py", line 457, in load_config self._re... 阅读全文

posted @ 2018-08-20 19:28 crr121 阅读(3927) 评论(0) 推荐(0) 编辑

摘要： #p1Vect也是一个向量 p1Vect = math.log(p1Num / p1Denom) p0Vect = math.log(p0Num / p0Denom)报错如下：TypeError: Only length-1 arrays can be ... 阅读全文

posted @ 2018-08-19 11:26 crr121 阅读(1154) 评论(0) 推荐(0) 编辑

摘要：创建桶表hive> create table house_1(id int,name string,age int) clustered by (id) into 3 buckets row format delimited fields terminated by ... 阅读全文

posted @ 2018-08-19 11:26 crr121 阅读(428) 评论(0) 推荐(0) 编辑

仰望星空脚踏实地