07 2017 档案
摘要：在scikit-learn中，与逻辑回归有关的主要是这3个类。LogisticRegression， LogisticRegressionCV 和logistic_regression_path。其中LogisticRegression和LogisticRegressionCV的主要区别是Logis
阅读全文
摘要：RDD.getNumPartitions()方法可以获得一个RDD分区数量， 1、默认由文件读取的话，本地文件会进行shuffle，hdfs文件默认会按照dfs分片来设定。 2、计算生成后，默认会按照executor-number*executor-cores来分片，也就是spark默认按照总工作核
阅读全文
摘要：Job, Task, and Task Attempt IDs In Hadoop 2, MapReduce job IDs are generated from YARN application IDs that arecreated by the YARN resource manager. T
阅读全文
摘要：settings.xml中主要包括以下元素： localRepository interavtiveMode offline pluginGroups proxies servers mirrors profiles property activeProfile localRepository：表示
阅读全文
摘要：这是git rebase任选的文件，前面是系统已有提交将要对git rebase -i ${commitID}中commitID代表的操作进行的下一步修改。上面的内容表示当前分支的最新提交，故所做操作为noop。文件中部分帮助内容在文件下半部分给出。代表的内容是git默认的帮助内容。也是rebase
阅读全文
摘要：在使用mvn package进行编译、打包时，Maven会执行src/test/java中的JUnit测试用例，有时为了跳过测试，会使用参数-DskipTests和-Dmaven.test.skip=true，这两个参数的主要区别是： -DskipTests，不执行测试用例，但编译测试用例类生成相应
阅读全文
摘要：Code Labels Code labels are three-letter codes with which commit messages can be prefixed. CODE Label color name background text BLD: build light gree
阅读全文
摘要：2017-07-10 14:38:24 理论参考： 评估分类器性能的度量，像混淆矩阵、ROC、AUC等 http://www.cnblogs.com/suanec/p/5941630.html ROC全称：receiver operation characters，适用于二分类。 同理可得由ROC曲
阅读全文
摘要：nohup nohup命令：如果你正在运行一个进程，而且你觉得在退出帐户时该进程还不会结束，那么可以使用nohup命令。该命令可以在你退出帐户/关闭终端之后继续运行相应的进程。nohup就是不挂断的意思( no hang up)。 该命令的一般形式为：nohup command & 使用nohup命
阅读全文
摘要：Spark排错与优化 http://blog.csdn.net/lsshlsw/article/details/49155087 一. 运维 1. Master挂掉,standby重启也失效 Master默认使用512M内存，当集群中运行的任务特别多时，就会挂掉，原因是master会读取每个task
阅读全文
摘要：tar -zxvf sshpass-1.06.tar.gzcd sshpass-1.06./configuremake && make install sshpass -p userpassword ssh*** sshpass -f userpassword.file ssh***
阅读全文
摘要：这几个值在图中代表 task 的计算节点和 task 的输入数据的节点位置关系 PROCESS_LOCAL: 数据在同一个 JVM 中，即同一个 executor 上。这是最佳数据 locality。 NODE_LOCAL: 数据在同一个节点上。比如数据在同一个节点的另一个 executor上；或在
阅读全文
摘要：Diagnostics: File file:/tmp/spark-c03df206-c90e-4c97-a2d6-a5d3fdb17811/__spark_libs__303213348409500965.zip does not exist 使用了cluster和client的deploy mo
阅读全文
摘要：vi/vim 中可以使用 ：s 命令来替换字符串。该命令有很多种不同细节使用方法，可以实现复杂的功能，记录几种在此，方便以后查询。 ：s/vivian/sky/ 替换当前行第一个 vivian 为 sky ：s/vivian/sky/g 替换当前行所有 vivian 为 sky ：n，$s/vivi
阅读全文
