摘要：
file io - Delete directories recursively in Java - Stack Overflow You should check out Apache's commons-io. It has a FileUtils class that will do what 阅读全文
随笔档案-2021年08月
spark 广播变量
2021-08-25 16:14 by ZealouSnesS, 944 阅读, 收藏, 编辑
摘要：
参考：Spark学习之路 （四）Spark的广播变量和累加器 - 扎心了，老铁 - 博客园 (cnblogs.com) 一、概述 在spark程序中，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量 阅读全文
c# 数组截取
2021-08-24 15:36 by ZealouSnesS, 2920 阅读, 收藏, 编辑
摘要：
以下实现的是c#截取数组a中第三位到第八位的数据 void Main() { byte[] a = new byte[] { 12, 32, 34, 43, 21, 23, 45, 56, 67, 78, 89, 96, 54, 32, 23, 45, 23 }; byte[] newA= a.Sk 阅读全文
python词典的items()用法
2021-08-24 15:28 by ZealouSnesS, 4136 阅读, 收藏, 编辑
摘要：
tl;nr: for ... in ... dict.items dict x, y 把元组/键值对当中的元素分别打印 不成立，会报错 x 把键值对作为一个整体x，结果为元组/键值对 把键值对x, a[x]中的元素分别打印 items() 主要用于提取词典中的key: value对 1 scores 阅读全文
scala 声明变量
2021-08-23 13:49 by ZealouSnesS, 265 阅读, 收藏, 编辑
摘要：
scala 中无论 val 还是 var，声明的时候都必须赋一个初值，不能仅声明，例如： var str:String val str: String 都会报错 block can not contain declarations 所以，必须赋给一个初值，如果实在在声明的时候尚不能确定变量的值，则应 阅读全文
spark map中忽略某些行
2021-08-23 13:44 by ZealouSnesS, 102 阅读, 收藏, 编辑
摘要：
用 mapPartiton def missingFeatures(stuff): Boolean = ??? // Determine if features is missing val data = sc.textFile(my_file) .flatMap {line => if(missi 阅读全文
scala 截取字符串
2021-08-23 11:20 by ZealouSnesS, 2379 阅读, 收藏, 编辑
摘要：
例如截取字符串前一万个字符 str.substring(0, 10000) 注意截取长度不能超过字符串长度，否则会抛异常，改进一下 str.substring(0, if (str.length > 10000) 10000 else str.length) 阅读全文
python 可变参数
2021-08-19 23:00 by ZealouSnesS, 1631 阅读, 收藏, 编辑
摘要：
参考：函数的参数 - 廖雪峰的官方网站 (liaoxuefeng.com) 可变参数 在Python函数中，还可以定义可变参数。顾名思义，可变参数就是传入的参数个数是可变的，可以是1个、2个到任意个，还可以是0个。 我们以数学题为例子，给定一组数字a，b，c……，请计算a2 + b2 + c2 + 阅读全文
scala 字节数组转为字符串再转回字节数组
2021-08-05 15:30 by ZealouSnesS, 535 阅读, 收藏, 编辑
摘要：
直接用Array[Byte].toString() 然后 String.getBytes() 会有问题 应该用： str = Base64.getEncoder.encodeToString(arr) arr = Base64.getDecoder.decode(str) 阅读全文
