摘要:摘要:Tomcat服务器是一个免费的开放源代码的Web应用服务器,属于轻量级应用服务器,在中小型系统和并发访问用户不是很多的场合下被普遍使用,是开发和调试JSP 程序的首选。由于Tomcat使用Java语言开发,所以Tomcat运行环境需要用到Java环境的支持,这里用的是jdk1.8版本,因为1. 阅读全文
Flume入门
2019-01-27 21:31 by 牛仔裤的夏天, 294 阅读, 0 推荐, 收藏, 编辑
摘要:前言:最近有些浮躁,大环境变化无常,这种情况下唯有学习才是王道,好吧,开始学习flume! 一、Flume简介 Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。 Flume 初始的发行版本目前被统称为 Flume OG(original generation) 阅读全文
SparkStreaming 编程指南
2018-12-22 15:25 by 牛仔裤的夏天, 620 阅读, 0 推荐, 收藏, 编辑
摘要:摘要:学习SparkStreaming从官网的编程指南开始,由于Python编码修改方便不用打包,这里只整理python代码! 一、概述 Spark Streaming 是 Spark Core API 的扩展, 它支持弹性的, 高吞吐的, 容错的实时数据流的处理。数据可以通过多种数据源获取, 例如 阅读全文
Kafka单机配置部署
2018-04-01 17:51 by 牛仔裤的夏天, 5501 阅读, 0 推荐, 收藏, 编辑
摘要:摘要:上节 学习了Kafka的理论知识,这里安装单机版以便后续的测试。 首先安装jdk 一、单机部署zk 1.1安装: tar -zxf zookeeper-3.4.10.tar.gz -C /opt/ 1.2配置: 在主目录下创建data用于存储数据: cd /opt/zookeeper-3.4. 阅读全文
Kafka介绍 (官方文档翻译)
2018-03-31 20:28 by 牛仔裤的夏天, 600 阅读, 0 推荐, 收藏, 编辑
摘要:摘要:Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于 阅读全文
spark调优
2018-02-22 18:06 by 牛仔裤的夏天, 1150 阅读, 1 推荐, 收藏, 编辑
摘要:摘要:鉴于 Spark 基于内存计算这一天性,以下集群资源可能会造成 Spark 程序的瓶颈:CPU,带宽和内存。通常情况下,如果内存足够的情况下,瓶颈就是网络带宽,但有时,你也需要做一些优化,例如以序列化的格式存储RDD,来减少内存使用。本指南将涵盖两个主要主题:数据序列化(这对于良好的网络性能至 阅读全文
《Spark Python API 官方文档中文版》 之 pyspark.sql (四)
2018-01-31 17:49 by 牛仔裤的夏天, 15992 阅读, 0 推荐, 收藏, 编辑
摘要:摘要:在Spark开发中,由于需要用Python实现,发现API与Scala的略有不同,而Python API的中文资料相对很少。每次去查英文版API的说明相对比较慢,还是中文版比较容易get到所需,所以利用闲暇之余将官方文档翻译为中文版,并亲测Demo的代码。在此记录一下,希望对那些对Spark感 阅读全文
《Spark Python API 官方文档中文版》 之 pyspark.sql (三)
2017-12-01 14:35 by 牛仔裤的夏天, 13675 阅读, 0 推荐, 收藏, 编辑
摘要:摘要:在Spark开发中,由于需要用Python实现,发现API与Scala的略有不同,而Python API的中文资料相对很少。每次去查英文版API的说明相对比较慢,还是中文版比较容易get到所需,所以利用闲暇之余将官方文档翻译为中文版,并亲测Demo的代码。在此记录一下,希望对那些对Spark感 阅读全文
git基本常用命令总结
2017-11-21 16:19 by 牛仔裤的夏天, 593 阅读, 0 推荐, 收藏, 编辑
摘要:官网:https://git-scm.com/book/zh/v1/Git-%E5%9F%BA%E7%A1%80-%E5%8F%96%E5%BE%97%E9%A1%B9%E7%9B%AE%E7%9A%84-Git-%E4%BB%93%E5%BA%93 1.Git 基础 - 取得项目的 Git 仓库: 阅读全文
《Spark Python API 官方文档中文版》 之 pyspark.sql (二)
2017-11-04 22:13 by 牛仔裤的夏天, 13399 阅读, 2 推荐, 收藏, 编辑
摘要:摘要:在Spark开发中,由于需要用Python实现,发现API与Scala的略有不同,而Python API的中文资料相对很少。每次去查英文版API的说明相对比较慢,还是中文版比较容易get到所需,所以利用闲暇之余将官方文档翻译为中文版,并亲测Demo的代码。在此记录一下,希望对那些对Spark感 阅读全文