摘要:
我这里用java实现的 代码如下: package test; import java.math.BigDecimal;//作者:刘子煜 public class test1 { public static void main(String[] args) { int[] project1=new 阅读全文
摘要:
今天学习了streaming+kafka的知识,了解订阅服务,对大数据有了比较大概的了解 阅读全文
摘要:
Kafka Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/ 阅读全文
摘要:
今天学习了大数据的自定义输出,包括数据库的输出。 阅读全文
摘要:
持续可用性(Availability):指系统长时间无故障运行的能力 可用性:在网络出现拥堵时,网页会陷入瘫痪状态。 场景部分 可能的值 刺激源 用户 刺激 网页长时间不响应 制品 系统的服务器 环境 用户使用网页 响应 系统检测到网页不响应重新刷新网页 响应度量 响应用户请求时间 可修改性:在付款 阅读全文
摘要:
学习了SparkStreaming如何运行WordCount程序代码。 阅读全文
摘要:
master下载netcat 我这里是ubuntu,所以命令如下: sudo apt-get install -y netcat master上运行: nc -lk 9999 然后可以输入内容,以空格为间隔 启动IDEA上的程序 package cn.itcast.streaming import 阅读全文
摘要:
初步认识了SparkStreaming,学习了流式数据处理的原理。 阅读全文
摘要:
介绍 SparkStreaming在Spark框架中的位置 特点 数据处理流程 核心计算思想 SparkStreaming数据抽象 DStream的本质 对DStream进行操作 DSteam的容错 DSteam的API 阅读全文
摘要:
搜狗搜索日志分析 数据网址:http://www.sogou.com/labs/resource/q.php 搜狗实验室提供【用户查询日志(SogouQ)】数据分为三个数据集,大小不一样 迷你版(样例数据, 376KB):http://download.labs.sogou.com/dl/sogou 阅读全文