大数据学习——SparkStreaming整合Kafka完成网站点击流实时统计
摘要：1.安装并配置zk 2.安装并配置Kafka 3.启动zk 4.启动Kafka 5.创建topic 程序代码 记一次遇到的问题 https://www.cnblogs.com/feifeicui/p/11018761.html
阅读全文
posted @
2019-06-13 19:03
o_0的园子
阅读(533)
推荐(0) 编辑
spark作业
摘要：假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发 Spark应用程序实现如下功能： 1、实时统计连续网购时间超过半个小时的女性网民信息。 2、周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单 位为分钟，分隔符为“,”。 数据： log1.txt：周六网民
阅读全文
posted @
2019-06-13 16:44
o_0的园子
阅读(783)
推荐(0) 编辑
大数据学习——spark-steaming学习
摘要：官网http://spark.apache.org/docs/latest/streaming-programming-guide.html 1.1. 用Spark Streaming实现实时WordCount 1.安装并启动生成者 首先在一台Linux（ip：192.168.10.101）上用YU
阅读全文
posted @
2019-06-13 16:34
o_0的园子
阅读(510)
推荐(0) 编辑
大数据学习——sparkSql对接hive
摘要：1. 安装mysql 2. 上传、解压、重命名 2.1. 上传 在随便一台有hadoop环境的机器上上传安装文件 su - hadoop rz –y 2.2. 解压 解压缩：apache-hive-1.0.1-bin.tar.gz tar -zxvf apache-hive-1.0.1-bin.ta
阅读全文
posted @
2019-06-13 14:05
o_0的园子
阅读(547)
推荐(0) 编辑
大数据学习——sparkSql对接mysql
摘要：1上传jar 2 加载驱动包 3 4 读取数据（注意mysql要启动） 5 往mysql数据库写数据
阅读全文
posted @
2019-06-13 00:04
o_0的园子
阅读(459)
推荐(0) 编辑
大数据学习——sparkSql
摘要：官网http://spark.apache.org/docs/1.6.2/sql-programming-guide.html DSL风格语法 SQL风格语法
阅读全文
posted @
2019-06-12 19:45
o_0的园子
阅读(256)
推荐(0) 编辑
大数据学习——spark运营案例
摘要：iplocation需求 在互联网中，我们经常会见到城市热点图这样的报表数据，例如在百度统计中，会统计今年的热门旅游城市、热门报考学校等，会将这样的信息显示在热点图中。 因此，我们需要通过日志信息（运行商或者网站自己生成）和城市ip段信息来判断用户的ip段，统计热点经纬度。 练习数据 链接：http
阅读全文
posted @
2019-06-12 14:16
o_0的园子
阅读(1226)
推荐(0) 编辑
大数据学习——spark笔记
摘要：变量的定义 方法和函数 逻辑执行语句 集合操作 类（重要） 集合的高级操作（重要） 高级特性 actor 并发编程的接口（非常重要） spark(what、how、why、use、运维<源码的理解>) 课程目标 什么是spark？ how1（部署） 启动 运行shell 用api开发spark代码
阅读全文
posted @
2019-06-11 11:50
o_0的园子
阅读(358)
推荐(0) 编辑
大数据学习——sparkRDD
摘要：https://www.cnblogs.com/qingyunzong/p/8899715.html 练习1：map、filter //通过并行化生成rdd val rdd1 = sc.parallelize(List(5, 6, 4, 7, 3, 8, 2, 9, 1, 10)) //对rdd1里
阅读全文
posted @
2019-06-11 11:42
o_0的园子
阅读(170)
推荐(0) 编辑
大数据学习——spark学习
摘要：计算圆周率 运行spark-shell的两种方式： 1直接运行spark-shell 单机通过多线程跑任务，只运行一个进程叫submit 2运行spark-shell --master spark://mini1:7077 将任务运行在集群中，运行submit在master上，运行executor在
阅读全文
posted @
2019-06-10 18:46
o_0的园子
阅读(354)
推荐(0) 编辑
大数据学习——spark安装
摘要：一主多从 1 上传压缩包 2 解压 删除安装包 重命名 3 修改配置文件 4 分发给另外几台机器 5 启动 指定某一台 启动所有 查看进程 http://mini1:8080/ 关闭集群 sbin/stop-all.sh 多主多从
阅读全文
posted @
2019-06-10 16:30
o_0的园子
阅读(247)
推荐(0) 编辑
大数据学习——akka学习
摘要：架构图 重要类介绍 ActorSystem 在Akka中，ActorSystem是一个重量级的结构，他需要分配多个线程，所以在实际应用中，ActorSystem通常是一个单例对象，我们可以使用这个ActorSystem创建很多Actor。 Actor 在Akka中，Actor负责通信，在Actor中
阅读全文
posted @
2019-06-04 17:19
o_0的园子
阅读(470)
推荐(0) 编辑
IDEA界面创建Scala的Maven项目
摘要：1. 创建Maven工程，勾选右侧的Create from archetype选项，然后选中下方的scala-archetype-simple选项，如图所示：2. 填写相应的GroupId、ArtifactId内容，一般情况下GroupId是实际的项目名称，ArtifactId对应实际项目的一个模块
阅读全文
posted @
2019-06-04 15:37
o_0的园子
阅读(1235)
推荐(0) 编辑
大数据学习——actor编程
摘要：1 概念 Scala中的Actor能够实现并行编程的强大功能，它是基于事件模型的并发机制，Scala是运用消息（message）的发送、接收来实现多线程的。使用Scala能够更容易地实现多线程应用的开发。 2 传统java并发编程与scala actor编程的区别 对于Java，我们都知道它的多线程
阅读全文
posted @
2019-06-04 10:31
o_0的园子
阅读(322)
推荐(0) 编辑
2018年最新Java面试题及答案整理
摘要：转https://blog.csdn.net/qq_41701956/article/details/80250226 https://blog.csdn.net/qq_41701956/article/category/7542407
阅读全文
posted @
2019-06-04 09:38
o_0的园子
阅读(168)
推荐(0) 编辑
大数据学习——scala类相关操作
摘要：1 类的定义 2构造器 3 单例对象 在Scala中没有静态方法和静态字段，但是可以使用object这个语法结构来达到同样的目的 1.存放工具方法和常量 2.高效共享单个不可变的实例 3.单例模式 4 伴生对象 在Scala的类中，与类名相同的对象叫做伴生对象，类和伴生对象之间可以相互访问私有的方法
阅读全文
posted @
2019-06-04 09:37
o_0的园子
阅读(174)
推荐(0) 编辑
大数据学习——scala集合练习
摘要：package com /** * Created by ZX on 2016/4/5. */ object ListTest { def main(args: Array[String]) { //创建一个List val lst0 = List(1,7,9,8,0,3,5,4,6,2) //将lst0中每个元素乘以10后生成一个新的集合 val ...
阅读全文
posted @
2019-06-03 13:39
o_0的园子
阅读(770)
推荐(0) 编辑
大数据学习——scala的wordCount小例子
摘要：val lines=List("hello tom hello jerry","hello tom hello kitty hello china") //方法一: val wc=lines.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).map(t=>(t._1,t._2.size)).toList.sortBy(_._2)...
阅读全文
posted @
2019-06-02 18:58
o_0的园子
阅读(522)
推荐(0) 编辑
大数据学习——scala数组
摘要：package com import scala.collection.mutable.ArrayBuffer /** * Created by Administrator on 2019/4/8. */ object TestMap { def main(args: Array[String]) { //**定长数组和变长数组********************...
阅读全文
posted @
2019-05-31 16:35
o_0的园子
阅读(364)
推荐(0) 编辑
