摘要: 1.http://blog.csdn.net/a2011480169/article/details/52712421 2.http://blog.csdn.net/stark_summer/article/details/42460527 3.https://www.jetbrains.com/h 阅读全文
posted @ 2018-08-23 15:58 打翻了牛顿吃饭的碗 阅读(27423) 评论(0) 推荐(0) 编辑
摘要: 在Eclipse中集成scala环境后,发现导入的Spark包报错,提示是:object apache is not a member of package org,网上说了一大推,其实问题很简单; 解决办法:在创建scala工程是,到了创建包的这一步是我们要选择: 而不是创建java工程是的Jav 阅读全文
posted @ 2018-08-23 11:41 打翻了牛顿吃饭的碗 阅读(11188) 评论(1) 推荐(0) 编辑
摘要: Eclipse 阅读全文
posted @ 2018-08-14 18:36 打翻了牛顿吃饭的碗 阅读(513) 评论(0) 推荐(0) 编辑
摘要: 点击Report->Reports 点击New Report 选择Standard Physical Report,语言选择简体中文,如下图 此时目录下就会多一个Report 右窗口: 根据自己的需要对右边Report items进行取舍,我在此选了最基本的表清单以及每个表的字段清单,如下 对pac 阅读全文
posted @ 2018-08-08 16:18 打翻了牛顿吃饭的碗 阅读(709) 评论(0) 推荐(2) 编辑
摘要: java的设计模式大体上分为三大类: 创建型模式(5种):工厂方法模式,抽象工厂模式,单例模式,建造者模式,原型模式。 结构型模式(7种):适配器模式,装饰器模式,代理模式,外观模式,桥接模式,组合模式,享元模式。 行为型模式(11种):策略模式、模板方法模式、观察者模式、迭代子模式、责任链模式、命 阅读全文
posted @ 2018-08-01 14:20 打翻了牛顿吃饭的碗 阅读(75110) 评论(0) 推荐(5) 编辑
摘要: spark 生态及运行原理 Spark 特点 运行速度快 => Spark拥有DAG执行引擎,支持在内存中对数据进行迭代计算。官方提供的数据表明,如果数据由磁盘读取,速度是Hadoop MapReduce的10倍以上,如果数据从内存中读取,速度可以高达100多倍。 适用场景广泛 => 大数据分析统计 阅读全文
posted @ 2018-07-31 14:09 打翻了牛顿吃饭的碗 阅读(901) 评论(0) 推荐(0) 编辑
摘要: 1.概述 最近有同学问道,除了使用 Storm 充当实时计算的模型外,还有木有其他的方式来实现实时计算的业务。了解到,在使用 Storm 时,需要编写基于编程语言的代码。比如,要实现一个流水指标的统计,需要去编写相应的业务代码,能不能有一种简便的方式来实现这一需求。在解答了该同学的疑惑后,整理了该实 阅读全文
posted @ 2018-07-31 14:03 打翻了牛顿吃饭的碗 阅读(320) 评论(0) 推荐(0) 编辑
摘要: 对象关系映射(Object Relational Mapping,简称ORM)是一种为了解决面向对象与关系数据库存在的互不匹配的现象的技术。 简单的说,ORM是通过使用描述对象和数据库之间映射的元数据,将java程序中的对象自动持久化到关系数据库中。本质上就是将数据从一种形式转换到另外一种形式。 这 阅读全文
posted @ 2018-07-26 14:56 打翻了牛顿吃饭的碗 阅读(537) 评论(0) 推荐(0) 编辑
摘要: 本案例利用Spark+Kafka实时分析男女生每秒购物人数,利用Spark Streaming实时处理用户购物日志,然后利用websocket将数据实时推送给浏览器,最后浏览器将接收到的数据实时展现,案例的整体框架图如下: 下面分析详细分析下上述步骤: 应用程序将购物日志发送给Kafka,topic 阅读全文
posted @ 2018-07-24 16:38 打翻了牛顿吃饭的碗 阅读(25666) 评论(8) 推荐(3) 编辑
摘要: 1、Eclipse中右击help,选择Eclipse Marketplace,搜索scala,一路点击安装,重启Eclipse。 2、新建工程,new->other->出现scala wizard,安装成功。想要系统学习Scala语法的同学,点击:https://pan.baidu.com/s/1M 阅读全文
posted @ 2018-07-24 15:36 打翻了牛顿吃饭的碗 阅读(961) 评论(0) 推荐(0) 编辑