摘要：
系统背景 广播变量 1. 广播变量的初始化 1.1.executor端，存放广播变量的对象使用非静态，因为静态变量是属于类的，不能使用构造函数来初始化。在executor端使用静态的时候，它只是定义的时候的一个状态，而在初始化时设置的值取不到。而使用非静态的对象，其构造函数的初始化在driver端执 阅读全文
摘要：
spark streaming使用Kafka数据源进行数据处理，本文侧重讲述实践使用。一、基于receiver的方式在使用receiver的时候，如果receiver和partition分配不当，很容易造成数据倾斜，使个别executor工作繁重，拖累整体处理速度。receiver线程分配和part 阅读全文
摘要：
#!/usr/bin/env bashsource /etc/profileecho " *************** start filter *************** "# get befor six month last day#m0=$(date -d "$(date -d 'mon 阅读全文
摘要：
查看定时任务 crontab -l 注册定时任务 crontab -e然后就像 vim 一样编辑自己的定时任务。如： * * * * * . /home/hadoop/timer/check_job.sh >> /home/hadoop/timer/logs/check_job.log 定时任务解析 阅读全文
摘要：
作者编辑：杜晓蝶，王玮，任泽 Spark 静态内存管理详解一、 内容简介 spark从1.6开始引入了动态内存管理模式，即执行内存和存储内存之间可以互相抢占。spark提供两种内存分配模式，即：静态内存管理和动态内存管理。该系列文章分别对这两种内存管理模式的优缺点以及设计原理进行了分析。该篇文章主要 阅读全文
摘要：
作者编辑：王玮，胡玉林一.回顾在前面的一篇文章中我们介绍了spark静态内存管理模式以及相关知识https://blog.csdn.net/anitinaj/article/details/80901328 在上一篇文章末尾，我们陈述了传统spark静态内存管理模式的局限性：（1） 没有适用于所有应 阅读全文
摘要：
雷锋网(公众号：雷锋网)按：本文作者 qqfly，上海交通大学机器人所博士生，本科毕业于清华大学机械工程系，主要研究方向机器视觉与运动规划，会写一些好玩的内容在微信公众号：Nao(ID：qRobotics)。本文整理自知乎回答：机器学习中用来防止过拟合的方法有哪些？ 给《机器视觉与应用》课程出大作业 阅读全文