摘要：一、例子: 1、一个简单例子：https://www.jianshu.com/p/ceabf3437dd7 2、Funsuite例子：https://www.programcreek.com/scala/org.scalatest.FunSuite 3、SparkFunsuite例子：https:/
阅读全文
摘要：ScalaArrayNote： https://www.jianshu.com/p/d906f00c05bf
阅读全文
摘要：一、list https://blog.csdn.net/xianpanjia4616/article/details/84930779 华为文档：https://support.huawei.com/enterprise/zh/doc/DOC1000104105?section=j009
阅读全文
摘要：一、打印RDD内容 https://blog.csdn.net/wengyupeng/article/details/52808503 1、方法 2种方式： 2、例子 二、Spark RDD Key-Value基本转换和动作运算实例 https://blog.csdn.net/qq_25948717
阅读全文
摘要：一、dataframe操作大全 https://blog.csdn.net/dabokele/article/details/52802150 https://www.jianshu.com/p/009126dec52f 增/删/改/查/合并/统计与数据处理: https://blog.csdn.n
阅读全文
摘要：一、广告发展的一个趋势： 传统排期采买广告（合约广告） 广告网络（ad network) 程序化广告（程序化广告十年变迁） 详细过程介绍：程序化广告出现的原因 以下转载：https://zhuanlan.zhihu.com/p/46603950 1、传统排期采买广告 由于技术的原因，广告主还要花更多
阅读全文
摘要：参考: spark中文官方网址：http://spark.apachecn.org/#/ https://www.iteblog.com/archives/1674.html 一、知识点： 1、Dataframe新增一列：https://www.cnblogs.com/itboys/p/976280
阅读全文
摘要：https://blog.csdn.net/shadowsama/article/details/78148919 https://www.cnblogs.com/mustone/p/5648914.html 多级解析json数据，需考虑null值。 https://www.cnblogs.com/
阅读全文
摘要：转载：https://www.cnblogs.com/wbh1000/p/9846401.html 两者的区别主要在于action后得到的值 例子： 上述代码中，打印结果1、2、3分别如下面三图 打印结果1 打印结果2 打印结果3
阅读全文
摘要：一、基础概念 1、广告概念 产品形式： 合约广告产品：线下广告衍生而来，常见于门户网站和视频网站。门户网站（通向某类综合性互联网信息资源并提供有关信息服务的应用系统），最为著名的门户网站则是谷歌以及雅虎，而在中国，著名的门户网站有新浪、网易、搜狐、腾讯、百度、新华网、人民网、凤凰网等。 竞价广告产品
阅读全文
摘要：一、步骤 1、在gitlab上创建一个issue，issue一般来说是版本发布说明。比如本次更新了什么功能，修复了什么bug什么的。 2、然后在本地创建一个branch，或者直接在gitlab上申请merge request时会自动产生一个branch。 3、本地修改完代码后，先查看git状态：当前
阅读全文
摘要：一、git、github和gitlab的区别 Git诞生于2005年，大神Linus的作品，Github诞生于2008年，没有Git就没有GitHub，Github已成为全球最大的代(tong)码(xing)开(jiao)源(you)社(wang)区(zhan)，注册免费用户即可在Github上免费
阅读全文
摘要：一、git fetch 和git pull 的差别 1、git fetch 相当于是从远程获取最新到本地，不会自动merge，如下指令： git fetch orgin master //将远程仓库的master分支下载到本地当前branch中 git log -p master ..origin/
阅读全文
摘要：一、Mapper类 /* ## Mapper基类的变量泛型 ## 这里的K1为偏移量，所以为整型，在java中为Long，但是Mapreduce自己定义了一种泛型，效率会更高，即LongWritable。 ## 这里的V1为String, Mapreduce对应的为Text。 ## K2为Text
阅读全文
摘要：https://www.cnblogs.com/sharpxiajun/p/3151395.html 一、Mapreduce简介： 1、Mapreduce是一个计算框架，表现形式是有个输入（input)，Mapreduce操作这个输入(input)，通过本身定义好的计算模型，得到一个输出（outpu
阅读全文
摘要：四、self-attention 1、是什么？ attention机制通常用在encode与decode之间，但是self-attention则是输入序列与输出序列相同，寻找序列内部元素的关系即 K=V=Q。l例如《Attention Is All You Need》在编码器中使用self-atte
阅读全文
