11 2018 档案
摘要：ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 22 root@192.168.12.129"
阅读全文
摘要：作者：傅渥成链接：https://www.zhihu.com/question/20852004/answer/16393656来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 看到这个问题，马上想到我那天回答的另一个问题了。我们在刻画这个世界之间的各种关系的时候，常常
阅读全文
摘要：hongjiang的网站:http://hongjiang.info
阅读全文
摘要：厦门大学数据实验室：http://dblab.xmu.edu.cn/ ppv网络课程：http://www.ppvke.com 练数成金：http://www.dataguru.cn/ Spark入门实战：https://www.cnblogs.com/shishanyuan/p/4699644.h
阅读全文
摘要：执行spark-shell报错： [ERROR] Terminal initialization failed; falling back to unsupportedjava.lang.NoClassDefFoundError: Could not initialize class scala.t
阅读全文
摘要：import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.SparkSession object WordCount { def main(args:Array[String]): Unit ={ val conf = new SparkConf() .setAppN...
阅读全文
摘要：import scala.math.randomobject LocalPi { def main(args: Array[String]) { var count = 0 for (i <- 1 to 100000000) { val x = random * 2 - 1 val y = rand
阅读全文
摘要：4.0.0 tim spark 1.0 2.11.0 2.3.2 2.8.3 org.apache.spark spark-core_2.11 ${spark.version} ...
阅读全文
摘要：https://www.zifangsky.cn/1292.html Could not locate Hadoop executable: xxx\bin\winutils.exe 1 2 3 4 5 6 Caused by: java.io.FileNotFoundException: Coul
阅读全文
摘要：core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml
阅读全文
摘要：UNC路径UNC（Universal Naming Convention） 为了迎合网络化的趋势，Windows的地址风格（C:\ABC\def\ghi及\\计算机名\文件夹\文件）向网络地址风格作了一次兼容变换：file表示协议类型://后面是机器的网络地址（IP地址）/后面是文件夹（目录）和文件
阅读全文
摘要：在spark-env.cmd添加一行 FOR /F %%i IN ('hadoop classpath') DO @set SPARK_DIST_CLASSPATH=%%i 修改：log4j.properties，去掉spark-shell退出的报错信息bug log4j.logger.org.ap
阅读全文
摘要：原文：https://www.cnblogs.com/jiangxinnju/p/5840420.html-- DBA/ALL/USER/V_$/GV_$/SESSION/INDEX开头的绝大部分都是视图 -- DBA_TABLES意为DBA拥有的或可以访问的所有的关系表。 -- ALL_TABLES意为某一用户拥有的或可以访问的所有的关系表。 -- USER_TABLES意为某一用户所拥有的所...
阅读全文
摘要：# Set the java args to high -Xmx512M -XX:MaxPermSize=256m -XX:ReservedCodeCacheSize=128m # Set the extra SBT options -Dsbt.log.format=true -Dsbt.boot.
阅读全文
摘要：1. Flink的引入 这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身
阅读全文
摘要：spark-env.sh文件中增加，确保${HADOOP_HOME}/lib/native目录下有libhadoop.so文件 export JAVA_LIBRARY_PATH=${HADOOP_HOME}/lib/native
阅读全文
摘要：在os x 上设置LD_LIBRARY_PATH无效，env命令看不到这个变量，下面的文章说明了这个问题 说明：网上基本针对这个值的设置分为两面，Windows派和Linux派，Windows的不说，Linux下只会说设置LD_LIBRARY_PATH即可，但这种方式在Java 8是一个错误的设置，
阅读全文
摘要：配置文件： spark-env.sh export SCALA_HOME=/usr/local/scalaexport SPARK_WORKING_MEMORY=1gexport SPARK_MASTER_IP=macexport HADOOP_HOME=/tim/hadoopexport HADO
阅读全文
摘要：In HADOOP_HOME/libexec/hadoop-config.sh look for the if condition below # Attempt to set JAVA_HOME if it is not set Remove extra parentheses in the ex
阅读全文
摘要：spark-shell --master yarnsc:val lineRDD=sc.textFile("/test/input/test")lineRDD.collect().foreach(println)val wordRDD = lineRDDwordRDD.collect().foreac
阅读全文
摘要：var是一个可变变量，这是一个可以通过重新分配来更改为另一个值的变量。这种声明变量的方式和java中声明变量的方式一样。 val是一个只读变量，这种声明变量的方式相当于java中的final变量。一个val创建的时候必须初始化，因为以后不能被改变。
阅读全文
摘要：在集群上运行spark程序时，rdd的操作都在worker机上，因此输出rdd的元素将在worker机的标准输出上进行，驱动节点上不会运行，故直接才程序中写如下代码 rdd.foreach(println(_)) 并不能产生期望的结果。此时应该先收集数据，再进行打印，即可得到预期结果 rdd.col
阅读全文
摘要：启动spark报错，启动container失败，去看yarn的日志，显示invalid token， 经过排查是hadoop子节点的配置和主节点的配置不一致导致的，同步之后，问题解决。
阅读全文
