PEAR2020

2020年10月10日

摘要： PageRank（PR）算法用于评估网页链接的质量和数量，以确定该网页的重要性和权威性的相对分数，范围为0到10 从本质上讲，PageRank是找出图中顶点（网页链接）的重要性 GraphX提供了PageRank API用于计算图的PageRank 使用方法： graph.pageRank(0.0 阅读全文

posted @ 2020-10-10 20:23 PEAR2020 阅读(638) 评论(0) 推荐(0) 编辑

Spark RDD之 sortBy如何全局排序？

摘要： import org.apache.spark.sql.SparkSession import scala.util.Random object TestSortBy { def main(args: Array[String]): Unit = { val spark = SparkSession 阅读全文

posted @ 2020-10-10 14:20 PEAR2020 阅读(2702) 评论(0) 推荐(0) 编辑

spark Graphx 之应用: 谁是网络红人？

摘要：一、数据：user和各自粉丝的关系 ((User47,86566510),(User83,15647839)) ((User47,86566510),(User83,15647839)) ((User47,86566510),(User83,15647839)) ((User47,86566510) 阅读全文

posted @ 2020-10-10 14:19 PEAR2020 阅读(156) 评论(0) 推荐(0) 编辑

Cannot resolve plugin org.apache.maven.plugins:maven-site-plugin:3.3「单独爆红」

摘要：问题原因：问题是使用自己的maven操作不规范造成的。解决方法：更改为标准目录结构（1）、添加目录repository和复制settings.xml文件（2）、更改IDEA内的setting设置（3）、成功后：阅读全文

posted @ 2020-10-10 12:30 PEAR2020 阅读(6092) 评论(2) 推荐(1) 编辑

2020年10月8日

spark Graphx 之基础操作

摘要： https://www.bookstack.cn/read/spark-graphx-source-analysis/vertex-edge-triple.md 一、基本操作 1，当顶点和边的属性全都具备，直接构建Graph import org.apache.spark.graphx.{Edge, 阅读全文

posted @ 2020-10-08 14:56 PEAR2020 阅读(478) 评论(0) 推荐(0) 编辑

2020年10月6日

scala之 spark连接SQL和HIVE/IDEA操作HDFS

摘要：一、连接SQL 方法一、 package com.njbdqn.linkSql import java.util.Properties import org.apache.spark.sql.SparkSession import org.apache.spark.sql._ object Link 阅读全文

posted @ 2020-10-06 11:24 PEAR2020 阅读(1172) 评论(0) 推荐(0) 编辑

hive之连接DBeaver

摘要： hive-jdbc的jar包直接从hive/中找阅读全文

posted @ 2020-10-06 11:14 PEAR2020 阅读(152) 评论(0) 推荐(0) 编辑

hive之配置的图解

摘要：以下详见：https://blog.csdn.net/weixin_48833605/article/details/111124191 一、metastore 二、hiveserver2 阅读全文

posted @ 2020-10-06 11:07 PEAR2020 阅读(147) 评论(0) 推荐(0) 编辑

2020年9月29日

Hive和sparksql中的dayofweek

摘要： dayofweek在hive2.2.0开始支持低版本的sparksql和hive中可用以下方式实现 select 7- datediff(next_day('2018-03-12',"Sunday"),'2018-03-12'). select date_format('2018-03-12' ,' 阅读全文

posted @ 2020-09-29 15:34 PEAR2020 阅读(551) 评论(0) 推荐(0) 编辑

spark SQL之 DataFrame使用

摘要： pom.xml中  <dependency> <groupId>com.google.guava</groupId> <artifactId>guava</artifa 阅读全文

posted @ 2020-09-29 15:21 PEAR2020 阅读(369) 评论(0) 推荐(0) 编辑

公告