摘要:
参考:http://tieba.baidu.com/p/3233996339#57290767555l 在CentOS中配置静态IP后不生效。 解决办法:将/etc/sysconfig/network-scripts/ifcfg-eth0文件中的DEVICE=eth0注释掉 解决过程: 一开始,配置 阅读全文
摘要:
UDAF:用户自定义聚合函数 Scala 2.10.7,spark 2.0.0 阅读全文
摘要:
UDF即用户自定函数,注册之后,在sql语句中使用。 基于scala-sdk-2.10.7,Spark2.0.0。 结果 阅读全文
摘要:
Spark SQL是Spark中用于结构化数据处理的组件。 Spark SQL可以从Hive中读取数据。 执行结果是Dataset/DataFrame。 DataFrame是一个分布式数据容器。然而DataFrame更像传统数据库的二维表格,除了数据以外,还掌握数据的结构信息,即schema。同时, 阅读全文
摘要:
RDD(Resilient Distributed Dateset),弹性分布式数据集。 <!-- ^ Position is not set to relative / absolute here because of Mozilla --> ◆哪里体现RDD的弹性? 1.partition的个数 阅读全文
摘要:
来源:http://spark.apache.org/docs/2.0.0/configuration.html spark中的内存使用主要分为两类:执行和存储。执行内存指的是用于shuffles、join、sorts 和aggregations中的计算的内存,而存储内存指的是用于在集群中cache 阅读全文
摘要:
来源:https://www.numpy.org/devdocs/user/quickstart.html 轴:即维度 eg. [1, 2, 1],有一个轴 [[ 1, 0, 0],[ 0, 1, 2]] ,有两个轴,第一个个轴的长度是2,第二个轴的长度是3 ndarray:numpy的数组类,也叫 阅读全文
摘要:
来源:http://spark.apache.org/docs/latest/submitting-applications.html 提交程序常用的一些选项 --class: The entry point for your application (e.g. org.apache.spark.e 阅读全文
摘要:
来源:http://spark.apache.org/docs/latest/cluster-overview.html User program built on Spark. Consists of a driver program and executors on the cluster. ( 阅读全文
摘要:
来源:https://dev.mysql.com/doc/refman/5.7/en/keywords.html 标有(R)的为保留关键字。 A ACCESSIBLE (R) ACCOUNT; added in 5.7.6 (nonreserved) ACTION ADD (R) AFTER AGA 阅读全文