spark调用hdfsAPI
摘要：`spark hdfs API` 查询文件名字、删除文件： 获取HDFS上面某个路径下的所有文件的名字 删除HDFS上面某个文件
阅读全文
posted @ 2018-01-24 09:10
01 2018 档案
hadoop退出安全模式Name node is in safe mode
摘要：在使用 的时候出现如下错误： 处于安全模式，所以需要退出安全模式，一般以如下方法可以解决： 实在不行还可以用如下方式：
阅读全文
posted @ 2018-01-12 09:40
dataframe的select传入不定参数
摘要：在提取 里面的列时，需要传入不定参数，即 。例如某个 如下： 一般提取某列或者某几列的时候是这样子写的： 但是有需求需要传入不定参数提取不定的列，则可以将需要提取的列放入到一个 中，再如此调用： 因为 官方定义的时候是支持传入不定参数的： 唯一的要求是 里面元素的类型是 类型。
阅读全文
posted @ 2018-01-11 09:04
