摘要: 1. 环境的介绍在一台虚拟机上模拟6个节点(官方说最少6个,3master,3slave),创建出3 master、3 salve 环境。 redis 采用 redis-4.0.1 版本。 在网上随便可以找到的配置多个redis,(总体有两种方式,一种是虚拟的,貌似走... 阅读全文
posted @ 2017-09-14 16:54 ZC_Surpass 阅读(109) 评论(0) 推荐(0) 编辑
摘要: 1.产生的背景随着互联网的快速发展、需求频繁变更、内容数量的俱增、时间的持续增长,图片数量也会越来越多。在实际需求中,会出现在若干个页面或同一个页面不同位置,展示同一条信息以及其缩略图。在这时,如果使用 CSS 控制图片显示的大小,对于那些与该位置不成比例的图片,缩小... 阅读全文
posted @ 2017-09-12 17:44 ZC_Surpass 阅读(563) 评论(0) 推荐(0) 编辑
摘要: 1.redis的简介1.1 Redis是什么 REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。Redis提供了一些丰富的数据结构,包括 lists, sets, order... 阅读全文
posted @ 2017-09-11 22:47 ZC_Surpass 阅读(181) 评论(0) 推荐(0) 编辑
摘要: Lua的简介Lua是一种轻巧小型的脚本语言,使用C语言编写,其设计的目的就是为内嵌到应用程序中,从而为应用程序提供灵活的拓展和定制功能,所以lua并没有提供庞大的库支持,也不适合作为一门单独的语言进行开发应用程序,一般只作为内嵌在其它应用程序中,实现高性能,高拓展以及... 阅读全文
posted @ 2017-09-09 12:27 ZC_Surpass 阅读(746) 评论(0) 推荐(0) 编辑
摘要: 简介四种压缩格式的优缺点以及应用场景的介绍:1 gzip压缩 优点:压缩率比较高,而且压缩/解压速度也比较快;hadoop本身支持,在应用中处理gzip格式的文件就和直接处理文本一样;有hadoop native库;大部分linux系统都自带gzip命令,使用方便。 ... 阅读全文
posted @ 2017-09-07 14:47 ZC_Surpass 阅读(247) 评论(0) 推荐(0) 编辑
摘要: 压缩在hadoop中的应用1.1压缩简介 Hadoop 作为一个较通用的海量数据处理平台,每次运算都会需要处理大量数据,我们会在 Hadoop 系统中对数据进行压缩处理来优化磁盘使用率,提高数据在磁盘和网络中的传输速度,从而提高系统处理数据的效率。在使用压缩方式方面,... 阅读全文
posted @ 2017-09-07 12:28 ZC_Surpass 阅读(273) 评论(0) 推荐(0) 编辑
摘要: 1.hue简介1.1什么是hue? HUE=Hadoop User ExperienceHue是一个开源的Apache hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于... 阅读全文
posted @ 2017-09-05 13:12 ZC_Surpass 阅读(307) 评论(0) 推荐(0) 编辑
摘要: 一、安装准备1.已经装好的hadoop环境是hadoop 2.7.3 参考博客:http://blog.csdn.net/qq_38799155/article/details/777488312.下载sqoop的安装包(注意是hadoop200) 下载地址:http... 阅读全文
posted @ 2017-09-01 23:52 ZC_Surpass 阅读(543) 评论(0) 推荐(0) 编辑
摘要: 一、简述 在centos7 Linux下进行伪分布式搭建。Hadoop 伪分布式模式是在单机上模拟 Hadoop 分布式,单机上的分布式并不是真正的伪分布式,而是使用线程模拟分布式。Hadoop 本身是无法区分伪分布式和分布式的,两种配置也很相似,唯一不同的地方是伪... 阅读全文
posted @ 2017-08-31 16:27 ZC_Surpass 阅读(169) 评论(0) 推荐(0) 编辑
摘要: 1. 准备工作 操作系统 hive版本 jdk版本 hadoop版本 MySQL centos7 2.3.0 1.8+ 2.7.3 mysql5.7ps:Hive 2.3.0需要以下运行环境: Java 1.7以上(强烈建议使用Java 1... 阅读全文
posted @ 2017-08-26 18:45 ZC_Surpass 阅读(574) 评论(0) 推荐(0) 编辑