静悟生慧

2019年8月19日

摘要：官方代码结构解析，README.MD XGboost 回归时，损失函数式平方误差损失分类时，是对数自燃损失； XGBoost: eXtreme Gradient Boosting An optimized general purpose gradient boosting library. The 阅读全文

posted @ 2019-08-19 15:45 静悟生慧阅读(2887) 评论(0) 推荐(0) 编辑

C++ .h 与 .hpp 的区别

摘要：原文地址：http://blog.csdn.net/f_zyj/article/details/51735416 .hpp，本质就是将.cpp的实现代码混入.h头文件当中，定义与实现都包含在同一文件，则该类的调用者只需要include该.hpp文件即可，无需再将cpp加入到project中进行编译。阅读全文

posted @ 2019-08-19 12:09 静悟生慧阅读(6150) 评论(0) 推荐(1) 编辑

JAVA SparkSQL初始和创建DataFrame的几种方式

摘要：建议参考SparkSQL官方文档：http://spark.apache.org/docs/latest/sql-programming-guide.html 一、前述 1、SparkSQL介绍 Hive是Shark的前身，Shark是SparkSQL的前身,SparkSQL产生的根本原因是其完全脱阅读全文

posted @ 2019-08-19 10:44 静悟生慧阅读(6620) 评论(0) 推荐(0) 编辑

2019年8月16日

JAVA RDD 介绍

摘要： RDD 介绍 RDD，全称Resilient Distributed Datasets（弹性分布式数据集），是Spark最为核心的概念，是Spark对数据的抽象。 RDD是分布式的元素集合，每个RDD只支持读操作，且每个RDD都被分为多个分区存储到集群的不同节点上。除此之外，RDD还允许用户显示的指阅读全文

posted @ 2019-08-16 22:03 静悟生慧阅读(1143) 评论(0) 推荐(0) 编辑

RDD java API使用

摘要： 1.RDD介绍： RDD，弹性分布式数据集，即分布式的元素集合。在spark中，对所有数据的操作不外乎是创建RDD、转化已有的RDD以及调用RDD操作进行求值。在这一切的背后，Spark会自动将RDD中的数据分发到集群中，并将操作并行化。 Spark中的RDD就是一个不可变的分布式对象集合。每个RD 阅读全文

posted @ 2019-08-16 20:21 静悟生慧阅读(1363) 评论(0) 推荐(0) 编辑

Java List 和 Array 转化

摘要： List to Array List 提供了toArray的接口，所以可以直接调用转为object型数组上述方法存在强制转换时会抛异常，下面此种方式更推荐：可以指定类型 Array to List 最简单的方法似乎是这样解决方案： 1、运用ArrayList的构造方法是目前来说最完美的作法，代码阅读全文

posted @ 2019-08-16 18:29 静悟生慧阅读(317) 评论(0) 推荐(0) 编辑

并发与并行的区别

摘要：很多人不是特别明白并发编程和并行编程的区别所在，有很多人很容易搞混淆，觉得二者近似相等，本文将用几个浅显易懂的例子，来说明一下什么是并发和并行。 1、任务与多任务关于什么是进程，什么是线程，这里不打算多说，关于每一种开发语言的多线程处理技术语法上有所区别，原理很多类似，可以查阅相关的参考书。什么是阅读全文

posted @ 2019-08-16 18:22 静悟生慧阅读(492) 评论(0) 推荐(0) 编辑

Java 中的JSON 字符串

摘要：类库选择 Java中并没有内置JSON的解析，因此使用JSON需要借助第三方类库。下面是几个常用的 JSON 解析类库： Gson: 谷歌开发的 JSON 库，功能十分全面。 FastJson: 阿里巴巴开发的 JSON 库，性能十分优秀。 Jackson: 社区十分活跃且更新速度很快。以下教程阅读全文

posted @ 2019-08-16 17:27 静悟生慧阅读(451) 评论(0) 推荐(0) 编辑

java spark list 转为 RDD 转为 dataset 写入表中

摘要： package com.example.demo; import java.util.ArrayList; import java.util.Arrays; import java.util.HashMap; import java.util.List; import java.util.Map; import org.apache.spark.api.java.JavaRDD; import o 阅读全文

posted @ 2019-08-16 17:00 静悟生慧阅读(9252) 评论(0) 推荐(0) 编辑

SparkConf和SparkContext

摘要：任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数。初始化后，就可以使用SparkContext对象所包含的各种方法来创建和操作RDD和共享变量。 Scala： val conf 阅读全文

posted @ 2019-08-16 16:19 静悟生慧阅读(16581) 评论(0) 推荐(2) 编辑

公告