Fork me on GitHub

06 2018 档案

《HelloGitHub》第 27 期
摘要：公告 网站新增了简单的搜索功能，可以通过项目名称或地址搜索、查看项目。欢迎star和推荐项目，我们一只在路上，希望志同道合者加入进来。 现招募专栏负责人： C Java 《HelloGitHub》第 27 期 兴趣是最好的老师， HelloGitHub 就是帮你找到兴趣！ 简介 分享 GitHub 阅读全文
posted @ 2018-06-28 09:49 削微寒 阅读(1573) 评论(9) 推荐(7) 编辑
大数据的技术生态概述（转载）
摘要："如何用形象的比喻描述大数据的技术生态？Hadoop、Hive、Spark 之间是什么关系？" 大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用 阅读全文
posted @ 2018-06-23 10:07 削微寒 阅读(806) 评论(0) 推荐(0) 编辑
pyhive 连接 Hive 时错误
摘要：一、User: xx is not allowed to impersonate xxx' 解决办法：修改 文件，加入下面的内容后重启 hadoop 。 Tips： 注意是 不是 二、ACCEPTED: waiting for AM container to be allocated, launch 阅读全文
posted @ 2018-06-23 10:05 削微寒 阅读(2057) 评论(0) 推荐(0) 编辑
Presto 常用配置及操作
摘要：一、介绍 Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。 Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。 推荐阅读 "Presto实现原理和美团的使用实践" 二、安装 2.1 安装步骤 1. 阅读全文
posted @ 2018-06-23 10:04 削微寒 阅读(2842) 评论(0) 推荐(0) 编辑
Hive 导入 parquet 格式数据
摘要：Hive 导入 parquet 数据步骤如下： 1. 查看 parquet 文件的格式 2. 构造建表语句 3. 倒入数据 一、查看 parquet 内容和结构 下载地址 "社区工具" "GitHub 地址" 命令 1. 查看结构： 2. 查看内容： parquet 和 hive 的 field 类 阅读全文
posted @ 2018-06-23 10:01 削微寒 阅读(23540) 评论(0) 推荐(0) 编辑
查看 Linux 发行版本的名称以及版本号
摘要：查看LINUX发行版的名称及其版本号的命令： 1. lsb_release a 2. cat /etc/redhat release(针对redhat，Fedora) 阅读全文
posted @ 2018-06-14 11:00 削微寒 编辑