摘要：
第二章 数据分析 wget https://archive.ics.uci.edu/ml/machine-learning-databases/00210/donation.zip 第三章 音乐推荐 wget http://www.iro.umontreal.ca/~lisa/datasets/pr 阅读全文
摘要：
df.write .option("truncate", "true") .option("driver", mysqlDriver) .mode(SaveMode.Overwrite).jdbc(url, table, pro) 需要配置某个jdbc类型驱动driver,option("drive 阅读全文
摘要：
异常出现:spark读取hive表时,spark.read.table(hive.test) hdp版本的spark默认的catalog是spark，配置项 metastore.catalog.default 默认值是spark，即读取SparkSQL自己的metastore_db。所以才会出现上述 阅读全文
摘要：
一、需求:spark写入phoniex 二、实现方式 1.官网方式 dataFrame.write .format("org.apache.phoenix.spark") .mode("overwrite") .option("table", table) .option("zkUrl", zkUr 阅读全文
摘要：
spark-submit的使用shell时时灵活性较低，livy作为spark提交的一种工具，是使用接口或者java客户端的方式提交，可以集成到web应用中 1.客户端提交的方式 http://livy.incubator.apache.org/docs/latest/programmatic-ap 阅读全文
摘要：
class caseTest { def main(args: Array[String]): Unit = { val c = Person(Student(1),"a") c match { //匹配Person对象，但除了使用Person对象的两个构造参数stu, name外 //有时候还需要 阅读全文
摘要：
地址：https://bbs.huaweicloud.com/blogs/193398 阅读全文
摘要：
需求解决问题 当每次读取hive表或者其他数据源，获取数据，相对其进行rdd操作，遇到任何类都需要df.rdd(row>row.getstring(0))去获取，就很麻烦，所以可以实现个通用的转换方式 1.dataframe转为rdd通用方法 /** * df转为rdd 通用方法 * * @para 阅读全文
摘要：
一、问题需求: 近期需要做一个商品集合的相关性计算,需要将所有商品进行两两组合笛卡尔积，但spark自带的笛卡尔积会造成过多重复，而且增加join量 假如商品集合里面有： aa aa bb bb cc cc 两两进行组合会出现九种情况 aa,aa aa,bb aa,cc cc,aa bb,aa bb 阅读全文
摘要：
恢复内容开始 Caused by: java.io.IOException: Added a key not lexically larger than previous. Current cell = 2c90807b73996dff0173b758788600a5,104/CF:dimensio 阅读全文