2017 年 2月随笔档案 - @ 小浩

简易的RPC调用框架（大神写的）

摘要：RPC，即 Remote Procedure Call（远程过程调用），说得通俗一点就是：调用远程计算机上的服务，就像调用本地服务一样。 RPC 可基于 HTTP 或 TCP 协议，Web Service 就是基于 HTTP 协议的 RPC，它具有良好的跨平台性，但其性能却不如基于 TCP 协议的阅读全文

posted @ 2017-02-27 21:31 @ 小浩阅读(589) 评论(0) 推荐(0) 编辑

Nginx+tomcat实现负载均衡的配置

摘要：Nginx+tomcat是目前主流的java web架构，如何让nginx+tomcat同时工作呢，也可以说如何使用nginx来反向代理tomcat后端均衡呢？直接安装配置如下： 1、JAVA JDK安装： #下载相应的jdk软件包，然后解压安装，我这里包名称为：jdk-7u25-linux-x64 阅读全文

posted @ 2017-02-23 15:52 @ 小浩阅读(671) 评论(0) 推荐(0) 编辑

Ngnix常用的操作

摘要：Nginx的常用参数如下：常用操作一： Nginx 重启（平滑和非平滑）常用操作二：查看Nginx启动日志阅读全文

posted @ 2017-02-23 14:55 @ 小浩阅读(419) 评论(0) 推荐(0) 编辑

Nginx是什么，有什么优点？为什么选择Nginx做web服务器软件?（经典经典）

摘要：1、基础知识代理服务器: 一般是指局域网内部的机器通过代理服务器发送请求到互联网上的服务器,代理服务器一般作用在客户端。应用比如：GoAgent，FQ神器. 一个完整的代理请求过程为：客户端首先与代理服务器创建连接，接着根据代理服务器所使用的代理协议，请求对目标服务器创建连接、或者获得目标服务器的阅读全文

posted @ 2017-02-23 14:42 @ 小浩阅读(6090) 评论(0) 推荐(0) 编辑

nginx重启报找不到nginx.pid的解决方法

摘要：nginx被停止(nginx -s stop)或者直接杀掉了进程（kill -9 nginx的进程号）后，调用命令（nginx -s reload 或者 nginx -s reopen)会报错：无法找到 "var/run/nginx.pid"文件。这句话中，有好几个知识点，也包含了一些错误，错误得阅读全文

posted @ 2017-02-23 13:48 @ 小浩阅读(7859) 评论(0) 推荐(0) 编辑

Hive分区和桶的概念

摘要：Hive 已是目前业界最为通用、廉价的构建大数据时代数据仓库的解决方案了，虽然也有 Impala 等后起之秀，但目前从功能、稳定性等方面来说，Hive 的地位尚不可撼动。其实这篇博文主要是想聊聊 SMB join 的，Join 是整个 MR/Hive 最为核心的部分之一，是每个Hadoop/Hiv 阅读全文

posted @ 2017-02-22 15:49 @ 小浩阅读(21828) 评论(0) 推荐(3) 编辑

Hive数据类型

摘要：数据类型 Hive基本的数据类型： Hive集合数据类型：另外还有一个复合数据类型，可以综合上面的数据类型组合到一起。 · union: UNIONTYPE<data_type, data_type, ...> 类型说明时间戳支持传统的unix时间戳,可选的纳秒级精度。支持的转换: l 整型阅读全文

posted @ 2017-02-20 21:07 @ 小浩阅读(639) 评论(0) 推荐(0) 编辑

Hive文件的存储格式

摘要：hive文件存储格式包括以下几类： TEXTFILE SEQUENCEFILE RCFILE 自定义格式其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。 SequenceFile,RCFile格式的表不能直接从本地文件导入数据，数据阅读全文

posted @ 2017-02-20 21:04 @ 小浩阅读(2698) 评论(0) 推荐(0) 编辑

Hive-表连接

摘要：Hive只支持等值连接，即ON子句中使用等号连接，不支持非等值连接。 Hive内置的数据存储类型，TextFile, SequenceFile, ORC(列式存储) 如果连接语句中有WHERE子句，会先执行JOIN子句，再执行WHERE子句。[吴超1] 假设有以下测试数据表user数据如下 Use 阅读全文

posted @ 2017-02-20 20:25 @ 小浩阅读(700) 评论(0) 推荐(0) 编辑

Hive任务优化--控制hive任务中的map数和reduce数

摘要：一、控制hive任务中的map数:1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修阅读全文

posted @ 2017-02-20 13:02 @ 小浩阅读(2072) 评论(0) 推荐(0) 编辑

qq浏览器如何全屏截图

摘要：对于经常使用qq浏览器的用户可以关注一下~超级使用的功能哦~ http://jingyan.baidu.com/article/a3a3f811f4e0508da2eb8a04.html 阅读全文

posted @ 2017-02-20 10:02 @ 小浩阅读(319) 评论(0) 推荐(0) 编辑

清华差生10年奋斗经历

摘要：【导读】清华“差生”10年奋斗经历：只写事业，不写女人。作者从2004年本科毕业写到2012年，近10年的奋斗经历。反正一字一句看完后，各种反省各种彻悟。不要老去抱怨别人“天时地利人和”，做好当下，后来人或许还会羡慕嫉妒恨你。我的故事里有三个人：我自己、我大学同宿舍的哥们、我第一个公司的直接领导。阅读全文

posted @ 2017-02-19 14:13 @ 小浩阅读(403) 评论(0) 推荐(0) 编辑

hive优化之------控制hive任务中的map数和reduce数

摘要：、控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义阅读全文

posted @ 2017-02-16 00:32 @ 小浩阅读(3157) 评论(0) 推荐(0) 编辑

Hive新功能 Cube, Rollup介绍

摘要：说明：Hive之cube、rollup，还有窗口函数，在传统关系型数据（Oracle、sqlserver）中都是有的，用法都很相似。 GROUPING SETS GROUPING SETS作为GROUP BY的子句，允许开发人员在GROUP BY语句后面指定多个统计选项，可以简单理解为多条group 阅读全文

posted @ 2017-02-16 00:15 @ 小浩阅读(535) 评论(0) 推荐(0) 编辑

Hadoop Hive 中的排序 Order by ,Sort by ,Distribute by以及 Cluster By

摘要：order byorder by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。set hive.mapred.mode=nonstrict; (default value / 默认值)set 阅读全文

posted @ 2017-02-15 23:46 @ 小浩阅读(1393) 评论(0) 推荐(0) 编辑

Hive修改表

摘要：本章将介绍如何修改表的属性，如，修改表名，修改列名，添加列，并删除或替换列。 Alter Table 语句它是在Hive中用来修改的表。语法声明接受任意属性，我们希望在一个表中修改以下语法。 Rename To… 语句下面是查询重命名表，把 employee 修改为 emp。 JDBC 程序阅读全文

posted @ 2017-02-15 21:49 @ 小浩阅读(752) 评论(0) 推荐(0) 编辑

Hive 体系结构

摘要：1、Hive架构与基本组成下面是Hive的架构图。图1.1 Hive体系结构 Hive的体系结构可以分为以下几部分：（1）用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive的客户端，用户连接至Hive 阅读全文

posted @ 2017-02-15 14:43 @ 小浩阅读(3853) 评论(0) 推荐(0) 编辑

Hive 查看日志

摘要：日志记录了程序运行的过程，是一种查找问题的利器。Hive中的日志分为两种1. 系统日志，记录了hive的运行情况，错误状况。2. Job 日志，记录了Hive 中job的执行的历史过程。系统日志存储在什么地方呢？在hive/conf/ hive-log4j.properties 文件中记录了Hiv 阅读全文

posted @ 2017-02-15 14:32 @ 小浩阅读(14220) 评论(0) 推荐(0) 编辑

Hive 安装操作

摘要：本篇为安装篇较简单：前提：1: 安装了hadoop-1.0.4（1.0.3也可以）正常运行2:安装了hbase-0.94.3, 正常运行接下来，安装Hive，基于已经安装好的hadoop，步骤如下：1：下载从http://hive.apache.org/下载hive-0.9.0/创建目录/hive将阅读全文

posted @ 2017-02-15 14:31 @ 小浩阅读(376) 评论(0) 推荐(0) 编辑

Hive组件以及执行过程

摘要：对Hive的基本组成进行了总结： 1、组件：元存储（Metastore ）－存储“系统目录以及关于表、列、分区等的元数据”的组件。驱动（Driver ）－控制 HiveQL 生命周期的组件，当 HiveQL 查询穿过 Hive时。该驱动管理着会话句柄以及任何会话的统计。查询编译器（Query C 阅读全文

posted @ 2017-02-15 14:29 @ 小浩阅读(2078) 评论(0) 推荐(0) 编辑

Hive基本操作

摘要：阅读本文章可以带着下面问题：1.与传统数据库对比，找出他们的区别2.熟练写出增删改查（面试必备）创建表：hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the 阅读全文

posted @ 2017-02-15 14:27 @ 小浩阅读(808) 评论(0) 推荐(0) 编辑

Hive中创建结构体、数组以及map

摘要：ROW FORMAT DELIMITED 分隔符设置开始语句 FIELDS TERMINATED BY：设置字段与字段之间的分隔符 COLLECTION ITEMS TERMINATED BY：设置一个复杂类型（array,struct)字段的各个item之间的分隔符 MAP KEYS TERMIN 阅读全文

posted @ 2017-02-15 14:08 @ 小浩阅读(2634) 评论(0) 推荐(0) 编辑

Hive默认分割符

摘要：1、Hive默认的分隔符 Hive的表数据，不管导出到HDFS还是本地文件系统，如果用户在导出时没有指定分割符，那么Hive表的数据在写入文件时，会使用默认的分隔符作为列分隔符，该默认的分割是“CTR+A”，ASCII码排第二位的字符，是不可见字符，二进制表示：'\u0001'。 2、显示Hive默阅读全文

posted @ 2017-02-15 13:41 @ 小浩阅读(2010) 评论(0) 推荐(0) 编辑

Hive的基本介绍

摘要：Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的。那么，到底什么是Hive，我们先看看Hive官网Wiki是如何介绍Hive的(https://cwiki.apache.org/confluence/display/Hive/Home)：上面英文阅读全文

posted @ 2017-02-14 16:55 @ 小浩阅读(516) 评论(0) 推荐(0) 编辑

Hive常用函数

摘要：字符串函数字符串长度函数：length Java代码语法: length(string A) 返回值: int 说明：返回字符串A的长度举例： hive> select length(‘abcedfg’) from dual; 7 字符串反转函数：reverse Java代码语法: reve 阅读全文

posted @ 2017-02-14 16:51 @ 小浩阅读(708) 评论(0) 推荐(0) 编辑

Hive插入数据的几种常用方法

摘要：Hive的几种常见的数据导入方式这里介绍四种：（1）、从本地文件系统中导入数据到Hive表；（2）、从HDFS上导入数据到Hive表；（3）、从别的表中查询出相应的数据并导入到Hive表中；（4）、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。一、从本地文件系统中导入数据到Hi 阅读全文

posted @ 2017-02-14 14:34 @ 小浩阅读(34235) 评论(0) 推荐(2) 编辑

搜索

常用链接

随笔分类

随笔档案

相册

阅读排行榜

评论排行榜

推荐排行榜

最新评论