06 2020 档案
摘要：一、概述 Spark处理关系型数据库时需要加载关系型数据库的驱动，不然会报找不到驱动包的错误。一般根据Spark的使用不是不同有以下几种加载驱动包的方法。 二、加载驱动包的方法 1、使用--jars的命令 ./spark-submit --classs com.rdc.bdata.compute.j
阅读全文
摘要：一、概述 Maven使用过程中，如果使用多model的形式组织项目，单个模块之间是相互独立的；编译整个root目录时会对每个模块都进行统一编译。单单对某个模块进行编译，该模块不会对其他模块进行编译，即便是其引用的模块。 二、坑描述和解决方法 踩坑描述：在对一个通用jar包进行打包时，该模块对其他模块
阅读全文
摘要：一、Sparksql隐式转换时异常描述 Cannot create encoder for Option of Product type, because Product type is represented as a row, and the entire row can not be null
阅读全文
摘要：一、概述 在调试Spark项目的时候报了一个包冲突异常，找了好长时间，最后发现是包冲突了；特此记录一下，原始报错找不到了。一般包冲突有个明显的特征就是报类找不到异常，可以根据提示把Spark冲突的包排除掉，然后再把其他的把单独加上去，就可以解决了。 Caused by: java.lang.Numb
阅读全文
摘要：一、概述 由于我们在使用spark编写时，使用文件一般都是从C://file//demo.txt,都是以文件盘符开始的，而Linux中没有盘符号，只有文件目录，例如:file:///home//demo//test//txt.json； 我们在进行本地测试时往往都是用的window，因此，直接把js
阅读全文
摘要：一、安装vsftpd 1、使用yum安装 yum install -y vsftpd 2、新增用户 useradd ftpuser 3、修改用户密码 echo "123456" | passwd ftpuser --stdin 4、限制该用户仅能通过FTP访问 限制用户 ftpuser只能通过 FT
阅读全文
