摘要：
1.链接mongo 2.查看有collections 阅读全文
摘要：
1.dataframe 基本操作 2.用sql 访问dataframe 3.创建dataset 4.反射推断模式 5.通过编程指定schema来创建DF 6.直接从file执行sql 7.合并schema 8.dataframe 字符串拼接 阅读全文
摘要：
关于spark 的详细操作请参照spark官网 scala 版本：2.11.8 1.添加spark maven依赖，如需访问hdfs，则添加hdfs依赖 2.sparkcontext 的创建 sc 使用结束，记得关闭 3.创建rdd 1）parallelized 方法 2）读取外部数据 一个放重要的 阅读全文
摘要：
win10 重装了系统，在idea 中运行spark 往本地写文件时报上述错误，解决方法 官网下载 hadoop 在本地解压，然后下载hadooponwindows-master.zip ,解压，用其中的 bin 和 etc 替换hadoop 中的bin 和etc ，为hadoop配置环境变量， 重 阅读全文
摘要：
4.0.0 ocm.jason xxxxtest 1.0-SNAPSHOT jar xxxxtest http://www.example.com UTF-8 1.7 1.7 com.abcd.xxx... 阅读全文
摘要：
1.mvn dependency:list 列出项目用到的依赖 2.查看依赖树 mvn dependency:tree 3.mvn dependency:analyze Used undeclared 表示用到了但没有显示声名的依赖(可能是递归依赖),这些依赖最好显示声名一下 Unused decl 阅读全文
摘要：
1.有源码的情况下 首先需要在要deploy的项目pom中添加私服地址 私服一般都是需要用户名/密码认证才能部署jar的，需要在setting.xml中添加 私服用户名和密码 然后 mvn clean deploy 就可以了 2.直接部署第三方jar包 经测试，不能从本地仓库部署，要把jar包cop 阅读全文
摘要：
在执行 mvn site 命令时报错： 解决方法，重新配置site plugin，加入如下代码 阅读全文
摘要：
软件环境 spark2.3.1 + hbase 2.0.1 这里我们用到的时hortonworks 的spark hbase connector 1.从github 下载shc源码， 2.用idea打开源码，下载依赖 因为源码中有部分依赖是来自hortonworks的，maven 中央仓库中下载不到 阅读全文