摘要：
I started learning Scala a few days before. Initially i was annoyed by the use of too many symbols in Scala. Especially i was confused by the_and its ... 阅读全文
摘要：
1 spark-shell --conf -h 2 Usage: ./bin/spark-shell [options] 3 4 Options: 5 --master MASTER_URL spark://host:port, mesos://host:port, yar... 阅读全文
摘要：
执行时需要传入的参数说明如下：Usage: spark-submit [options] [app options]参数名称含义--master MASTER_URL可以是spark://host:port, mesos://host:port, yarn,yarn-cluster,yarn-cl... 阅读全文
摘要：
pom中加入以下代码，利用mvn assembly：assembly就可以了。 maven-assembly-plugin ... 阅读全文
摘要：
Log4J的配置文件(Configuration File)就是用来设置记录器的级别、存放器和布局的，它可接key=value格式的设置或xml格式的设置信息。通过配置，可以创建出Log4J的运行环境。 1. 配置文件 Log4J配置文件的基本格式如下：代码如下: 1 #配置根Logger 2... 阅读全文
摘要：
eclipse java工程和maven工程的互相转换maven转为工程一般工程： 工程右键--->Maven--->Disable Maven Nature转为一般工程。一般工程转为maven工程： 工程右键--->Configure--->Convert to Maven Project 阅读全文
摘要：
预训练的用处：规则化，防止过拟合；压缩数据，去除冗余；强化特征，减小误差；加快收敛速度。标准的sigmoid输出不具备稀疏性，需要用一些惩罚因子来训练出一大堆接近0的冗余数据来，从而产生稀疏数据，例如L1、L1/L2或Student-t作惩罚因子。因此需要进行无监督的预训练。而ReLU是线性修正，公... 阅读全文
摘要：
自2013年3月面世以来，Spark SQL已经成为除Spark Core以外最大的Spark组件。除了接过Shark的接力棒，继续为Spark用户提供高性能的SQL on Hadoop解决方案之外，它还为Spark带来了通用、高效、多元一体的结构化数据处理能力。在刚刚发布的1.3.0版中，Spar... 阅读全文
摘要：
我们可以通过System.getProperty("user.home")读取JAVA系统的user.home属性的值。 阅读全文
摘要：
CLI 命令代码实现命令行程序处理流程相对比较简单，主要流程为设定命令行参数 -> 解析输入参数 -> 使用输入的数据进行逻辑处理CLI 定义阶段 每一条命令行都必须定义一组参数，它们被用来定义应用程序的接口。Apache Commons CLI 使用 Options 这个类来定义和设置参数，它是所... 阅读全文