2017 年 5月随笔档案 - ilinux_one

使用HeartBeat实现高可用HA的配置过程详解

摘要：使用HeartBeat实现高可用HA的配置过程详解一、写在前面 HA即(high available)高可用，又被叫做双机热备，用于关键性业务。简单理解就是，有2台机器 A 和 B，正常是 A 提供服务，B 待命闲置，当 A 宕机或服务宕掉，会切换至B机器继续提供服务。常见的实现高可用的开源软件有阅读全文

posted @ 2017-05-28 23:17 ilinux_one 阅读(291) 评论(0) 推荐(0) 编辑

Nginx实现集群的负载均衡配置过程详解

摘要：Nginx实现集群的负载均衡配置过程详解 Nginx 的负载均衡功能，其实实际上和 nginx 的代理是同一个功能，只是把代理一台机器改为多台机器而已。 Nginx 的负载均衡和 lvs 相比，nginx属于更高级的应用层，不牵扯到 ip 和内核的修改，它只是单纯地把用户的请求转发到后面的机器上。这阅读全文

posted @ 2017-05-28 23:16 ilinux_one 阅读(2267) 评论(0) 推荐(0) 编辑

使用LVS实现负载均衡原理及安装配置详解

摘要：转：http://www.cnblogs.com/liwei0526vip/p/6370103.html 使用LVS实现负载均衡原理及安装配置详解负载均衡集群是 load balance 集群的简写，翻译成中文就是负载均衡集群。常用的负载均衡开源软件有nginx、lvs、haproxy，商业的硬件阅读全文

posted @ 2017-05-28 23:13 ilinux_one 阅读(418) 评论(0) 推荐(1) 编辑

LVS：三种负载均衡方式比较+另三种负载均衡方式

摘要：转：http://blog.csdn.net/u013256816/article/details/50705578 什么是LVS？首先简单介绍一下LVS (Linux Virtual Server)到底是什么东西，其实它是一种集群(Cluster)技术，采用IP负载均衡技术和基于内容请求分发技术阅读全文

posted @ 2017-05-28 23:09 ilinux_one 阅读(2967) 评论(0) 推荐(0) 编辑

（总结）Nginx/LVS/HAProxy负载均衡软件的优缺点详解

摘要：转：http://www.ha97.com/5646.html PS：Nginx/LVS/HAProxy是目前使用最广泛的三种负载均衡软件，本人都在多个项目中实施过，参考了一些资料，结合自己的一些使用经验，总结一下。一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术。具体的应用阅读全文

posted @ 2017-05-28 22:59 ilinux_one 阅读(316) 评论(0) 推荐(0) 编辑

负载均衡层次结构：LVS Nginx DNS CDN

摘要：文章地址：http://blog.csdn.net/mindfloating/article/details/51020767 作为后端应用的开发者，我们经常开发、调试、测试完我们的应用并发布到生产环境，用户就可以直接访问到我们的应用了。但对于互联网应用，在你的应用和用户之间还隔着一层低调的或厚或薄阅读全文

posted @ 2017-05-28 22:51 ilinux_one 阅读(1747) 评论(0) 推荐(0) 编辑

公有云与私有云的区别

摘要：区别1：从云的建设地点划分，公有云——互联网上发布的云计算服务；私有云——企业内部（专网）发布的云服务。区别2：从云服务的协议开发程度划分，公有云——协议开放的云计算服务，不需要专有的客户端软件解析。号称no software，所有应用都是以服务的形式提供给用户的，而不是以软件包的形式提供。私有云阅读全文

posted @ 2017-05-27 22:47 ilinux_one 阅读(527) 评论(0) 推荐(0) 编辑

正向代理与反向代理的区别

摘要：在计算机世界，代理可分为正向代理和反向代理，比如著名的FQ软件Shadowsocks就是一款正向代理软件，全世界前1000的高流量网站都在用的Web服务器Nginx作为反向代理服务器，那么两者之间究竟有什么区别？ 1.正向代理拿借钱打个比方，A想向C借钱，但是C不认识A所以不借给他，然后A就通过B 阅读全文

posted @ 2017-05-17 23:08 ilinux_one 阅读(6160) 评论(0) 推荐(1) 编辑

Json解析工具Jackson（简单应用）

摘要：概述 Jackson库（http://jackson.codehaus.org），是基于Java语言的开源json格式解析工具，整个库（使用最新的2.2版本）包含3个jar包： jackson-core.jar——核心包（必须），提供基于“流模式”解析的API。 jackson-databind—— 阅读全文

posted @ 2017-05-17 22:59 ilinux_one 阅读(1101) 评论(0) 推荐(0) 编辑

Jackson（使用注解）

摘要：jackson在实际应用中给我们提供了一系列注解，提高了开发的灵活性，下面介绍一下最常用的一些注解 @JsonIgnoreProperties此注解是类注解，作用是json序列化时将Java bean中的一些属性忽略掉，序列化和反序列化都受影响。 @JsonIgnore此注解用于属性或者方法上(最好阅读全文

posted @ 2017-05-17 22:55 ilinux_one 阅读(1813) 评论(0) 推荐(0) 编辑

解决JsonFormat日期少一天问题

摘要：使用Jackson的@JsonFormat注解时出现少一天比如数据库存的日期是2015-01-05,转成json则变成了2015-01-04 解决办法: 改成加上时区即可,中国是东八区阅读全文

posted @ 2017-05-17 22:53 ilinux_one 阅读(3965) 评论(1) 推荐(1) 编辑

Json对象和Json字符串的区别

摘要：JSON对象有时候在做项目的时候时常将这两个概念弄混淆，尤其是在使用springmvc的时候，后台@RequestBody接受的是一个json格式的字符串，一定是一个字符串。先介绍一下json对象，首先说到对象的概念，对象的属性是可以用：对象.属性进行调用的。例如： person就是json对象阅读全文

posted @ 2017-05-17 22:40 ilinux_one 阅读(29474) 评论(2) 推荐(6) 编辑

Java下利用Jackson进行JSON解析和序列化

摘要：ava下常见的Json类库有Gson、JSON-lib和Jackson等，Jackson相对来说比较高效，在项目中主要使用Jackson进行JSON和Java对象转换，下面给出一些Jackson的JSON操作方法。一、准备工作 Jackson有1.x系列和2.x系列，2.x系列有3个jar包需要下阅读全文

posted @ 2017-05-17 22:15 ilinux_one 阅读(2658) 评论(0) 推荐(1) 编辑

scala中json与对象的转换

摘要：遇到的问题因为要把spark从es读出来的json数据转换为对象，开始想用case class定义类型，通过fastjson做转换。如下结果抛出了异常：com.fasterxml.jackson.databind.JsonMappingException: No suitable constru 阅读全文

posted @ 2017-05-16 22:20 ilinux_one 阅读(15843) 评论(0) 推荐(2) 编辑

Oozie workflow工作流action间参数传递实现

摘要：假设workflow里有两个action节点，shell和hive，hive需要用到shell节点里的值，shell脚本如下 hive节点需传入day这个参数。需要用到shell节点里<capture-output/>这个属性，如下 <action name="shell-118a "> <shel 阅读全文

posted @ 2017-05-14 15:46 ilinux_one 阅读(2398) 评论(0) 推荐(0) 编辑

Spark-Sql之DataFrame实战详解

摘要：1、DataFrame简介：在Spark中，DataFrame是一种以RDD为基础的分布式数据据集，类似于传统数据库听二维表格，DataFrame带有Schema元信息，即DataFrame所表示的二维表数据集的每一列都带有名称和类型。类似这样的 2、准备测试结构化数据集 people.json 阅读全文

posted @ 2017-05-14 09:36 ilinux_one 阅读(4373) 评论(0) 推荐(0) 编辑

使用maven-shade-plugin插件解决spark依赖冲突问题

摘要：依赖冲突：NoSuchMethodError,ClassNotFoundException 当用户应用于Spark本身依赖同一个库时可能会发生依赖冲突，导致程序奔溃。依赖冲突表现为在运行中出现NoSuchMethodError或者ClassNotFoundException的异常或者其他与类加载相关阅读全文

posted @ 2017-05-07 09:44 ilinux_one 阅读(2415) 评论(0) 推荐(1) 编辑

Oozie工作流属性配置的方式与策略

摘要：本文原文出处: http://blog.csdn.net/bluishglc/article/details/46049817 Oozie工作流属性配置的三种方式 Oozie有三种方法可以给工作流提供属性属性配置： Oozie工作流属性配置的策略（最佳实践）坦率地讲，三种配置相互重叠，全部使用会使阅读全文

posted @ 2017-05-04 23:08 ilinux_one 阅读(482) 评论(0) 推荐(0) 编辑

工作流引擎Oozie（二）：coordinator

摘要：1. 简介 coordinator是workflow的定时提交器，基于时间条件与数据生成触发（based on time and data triggers）。简单点说，coordinator按所定义的时间周期进行轮询，若数据生成条件满足，则触发workflow任务；否则，则等待数据生成或跳过（调度阅读全文

posted @ 2017-05-04 23:03 ilinux_one 阅读(1940) 评论(0) 推荐(0) 编辑

工作流引擎Oozie（一）：workflow

摘要：1. Oozie简介 Yahoo开发工作流引擎Oozie（驭象者），用于管理Hadoop任务（支持MapReduce、Spark、Pig、Hive），把这些任务以DAG（有向无环图）方式串接起来。Oozie任务流包括：coordinator、workflow；workflow描述任务执行顺序的DAG 阅读全文

posted @ 2017-05-04 23:02 ilinux_one 阅读(993) 评论(0) 推荐(0) 编辑

常用HiveQL总结

摘要：1. 建表以纯文本数据建表： create table default.calendar_table ( day_cal date ,week_cal string ,montn_cal string ,year_cal string ) row format delimited fields t 阅读全文

posted @ 2017-05-04 00:00 ilinux_one 阅读(435) 评论(0) 推荐(0) 编辑

Oozie4.2 安装部署、以及example测试

摘要：编译：使用的环境是：Hadoop2.6.0、Spark1.4.0、Hive0.13.1、Sqoop1.4.4 编译Oozie的命令：./mkdistro.sh -Phadoop-2 -Dhadoop.auth.version=2.6.0 -Ddistcp.version=2.6.0 -Dsqoop 阅读全文

posted @ 2017-05-03 23:20 ilinux_one 阅读(2847) 评论(0) 推荐(0) 编辑

oozie 常用命令

摘要：1.验证wokflow.xmloozie validate /appcom/apps/hduser0401/mbl_webtrends/workflow.xml 2.提交作业，作业进入PREP状态 oozie job -oozie http://localhost:11000/oozie -conf 阅读全文

posted @ 2017-05-03 23:09 ilinux_one 阅读(631) 评论(0) 推荐(0) 编辑

Oozie-coordinator调度

摘要：当有一个复杂的工作流job，希望每天定时执行，使用crontab方式调用需要编写大量的脚本，还要通过大量的判断来控制每个工作流job的执行顺序问题。Oozie中的Coordinator可以让每个工作流workflow当做一个动作来运行，这样就可以将多个job组织起来，并制定触发时间和频率。它的调度方阅读全文

posted @ 2017-05-03 23:01 ilinux_one 阅读(626) 评论(0) 推荐(0) 编辑

Oozie-自定义实现WorkFlow中shell action

摘要：19.png 19.png 20.png 20.png 21.png 21.png 22.png 22.png 阅读全文

posted @ 2017-05-03 22:41 ilinux_one 阅读(1031) 评论(0) 推荐(0) 编辑

Oozie介绍

摘要：1. Hadoop常见调度框架：（1）Linux Crontab：Linux自带的任务调度计划，在任务比较少的情况下，可以使用这种方式，直接执行脚本，例如添加一个执行计划： 0 12 * hive -f xxx.sql（2）Azkaban：（3）Oozie：Cloudera公司开源（4）Zeus：阅读全文

posted @ 2017-05-03 22:25 ilinux_one 阅读(7793) 评论(0) 推荐(2) 编辑

05 2017 档案

导航

公告

统计

搜索

常用链接

随笔档案