2016年10月8日

调用javaAPI访问hive

摘要： jdbc远程连接hiveserver2 2016-04-26 15:59 本站整理浏览(425) 在之前的学习和实践Hive中，使用的都是CLI或者hive –e的方式，该方式仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。幸好Hive提供了轻客户端的实现，通过HiveServ 阅读全文

posted @ 2016-10-08 17:55 金色飞贼阅读(12003) 评论(0) 推荐(1) 编辑

2016年9月7日

sqoop笔记

摘要： adoop学习笔记—18.Sqoop框架学习一、Sqoop基础：连接关系型数据库与Hadoop的桥梁 1.1 Sqoop的基本概念 Hadoop正成为企业用于大数据分析的最热门选择，但想将你的数据移植过去并不容易。Apache Sqoop正在加紧帮助客户将重要数据从数据库移到Hadoop。随着Ha 阅读全文

posted @ 2016-09-07 15:33 金色飞贼阅读(1413) 评论(0) 推荐(0) 编辑

2016年8月24日

hive学习

摘要：大数据的仓库Hive学习 10期-崔晓光 2016-06-20 大数据 hadoop 10原文链接大数据的仓库Hive学习 10期-崔晓光 2016-06-20 大数据 hadoop 10原文链接我们接着之前学习的大数据来学习。之前说到了NoSql的HBase数据库以及Hadoop中的HDFS存阅读全文

posted @ 2016-08-24 10:43 金色飞贼阅读(242) 评论(0) 推荐(0) 编辑

2016年8月11日

添加用户到sudo组

摘要： sudo usermod -a -G sudo username 阅读全文

posted @ 2016-08-11 00:38 金色飞贼阅读(135) 评论(0) 推荐(0) 编辑

2016年8月10日

HTTP协议用的TCP但是只建立单向连接

摘要：作者：IronTech链接：https://www.zhihu.com/question/20085992/answer/71742030来源：知乎著作权归作者所有，转载请联系作者获得授权。下面的解释copy自quora,回答得很精彩HTTP uses TCP connection. But HT 阅读全文

posted @ 2016-08-10 17:20 金色飞贼阅读(4373) 评论(0) 推荐(0) 编辑

Hadoop基本操作

摘要：命令基本格式: hadoop fs -cmd < args > 1.ls hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls -R / 列出hdfs文件系统所有的目录和文件 2.put hadoop fs -put < local file > < 阅读全文

posted @ 2016-08-10 14:33 金色飞贼阅读(304) 评论(0) 推荐(0) 编辑

2016年8月9日

Hadoop原理介绍

摘要： Hadoop核心之HDFS 架构设计老嗨 2015-09-18 16:55:00 浏览225 评论0 摘要：概述：HDFS即Hadoop Distributed File System分布式文件系统，它的设计目标是把超大数据集存储到分布在网络中的多台普通商用计算机上，并且能够提供高可靠性和高吞吐阅读全文

posted @ 2016-08-09 15:43 金色飞贼阅读(554) 评论(0) 推荐(0) 编辑

sed用法

摘要：简介 sed 是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储阅读全文

posted @ 2016-08-09 10:39 金色飞贼阅读(184) 评论(0) 推荐(0) 编辑

2016年8月8日

设置Ubuntu为本地时间

摘要：大家在切换操作系统的时候会发现一个问题， Windows 和 Ubuntu 的时间会出现不一致的情况。在 Windows 中把时间设置正确了过后，回到在 Ubuntu 后系统的时间又不一样了，在 Ubuntu 中把时间设置正确后进入 Windows 后，时间又不一致了。出现这种情况的原因是 Wind 阅读全文

posted @ 2016-08-08 17:22 金色飞贼阅读(3238) 评论(0) 推荐(0) 编辑

2016年8月4日

Hadoop入门系列一

摘要：作者：Aitian Ma链接：https://www.zhihu.com/question/24965053/answer/102858134来源：知乎著作权归作者所有，转载请联系作者获得授权。 Hadoop的HDFS和Hadoop的面试问题1）列出Hadoop集群的Hadoop守护进程和相关的角色阅读全文

posted @ 2016-08-04 14:50 金色飞贼阅读(650) 评论(0) 推荐(0) 编辑