2019年3月28日
java文件流操作
摘要： package common;import java.io.*;import java.math.BigDecimal;import java.util.ArrayList;import java.util.List;import entity.Commodity;public class Comm 阅读全文
posted @ 2019-03-28 09:28 pursue330 阅读(312) 评论(0) 推荐(0) 编辑
mybatis所需pom文件内容以及配置文件
摘要： 官方网站http://www.mybatis.org/mybatis-3/zh/index.htmlpom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns: 阅读全文
posted @ 2019-03-28 09:13 pursue330 阅读(12390) 评论(1) 推荐(0) 编辑
2019年3月27日
个人写spark小测试
摘要： 写脚本生成类似文件 java 代码 封装类 1.pv pageview 得出每个网站总的访问量2.uv unique vistor 得出每个网站不同ip的访问量3.每个网址 访问量top3地区 和对应的人数 www.baidu.com 北京 2000 河北 1800 辽宁 1000 www.taob 阅读全文
posted @ 2019-03-27 21:38 pursue330 阅读(785) 评论(0) 推荐(0) 编辑
spark介绍2
摘要： 上述结果是 map 1 filter 1 map 2 filter 2 map 3 filter 3 map 4 filter 4 即说明是并行，且互不干扰，每个task运行到最后 阅读全文
posted @ 2019-03-27 09:07 pursue330 阅读(107) 评论(0) 推荐(0) 编辑
2019年3月25日
RDD介绍与执行
摘要： repartition 增加或减少分区。会产生shuffle。（多个分区分到一个分区不会产生shuffle） coalesce coalesce常用来减少分区，第二个参数是减少分区的过程中是否产生shuffle。 true为产生shuffle，false不产生shuffle。默认是false。 如果 阅读全文
posted @ 2019-03-25 20:52 pursue330 阅读(319) 评论(0) 推荐(0) 编辑
spark（oom内存溢出异常（out of memory））介绍1
摘要： 建立如图maven工程 maven的pom文件内容参考别的随笔 参考pom文件内容 同时记得添加scala oom内存溢出异常（out of memory） 阅读全文
posted @ 2019-03-25 19:39 pursue330 阅读(1394) 评论(0) 推荐(0) 编辑
spark安装配置（scala不是必须的，基于java虚拟机，因此scala可以不配，但是开发需要可以配）
摘要： 下载 http://spark.apache.org/downloads.html 下载2.3.1 https://blog.csdn.net/qq_15349687/article/details/82748074（齐全） 配置文件 https://www.cnblogs.com/purstar/ 阅读全文
posted @ 2019-03-25 19:15 pursue330 阅读(3376) 评论(0) 推荐(1) 编辑
sqpark编译时maven的pom文件内容（org.apachetype.maven.apachetypes:maven.archetypequickstat）
摘要： <?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sch 阅读全文
posted @ 2019-03-25 14:05 pursue330 阅读(312) 评论(0) 推荐(0) 编辑
2019年3月23日
zookeeper介绍
摘要： zookeeper介绍连接 https://blog.csdn.net/apriaaaa/article/details/79697466 https://blog.csdn.net/duke370503/article/details/52623192 面试题连接 https://www.cnbl 阅读全文
posted @ 2019-03-23 10:39 pursue330 阅读(246) 评论(0) 推荐(0) 编辑
flume介绍
摘要： https://www.cnblogs.com/zhangyinhua/p/7803486.html 一、Flume简介 flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generat 阅读全文
posted @ 2019-03-23 09:30 pursue330 阅读(256) 评论(0) 推荐(0) 编辑