12 2016 档案

摘要：进入 sbt 命令行模式，键入sbtVersion 得到[info]0.13.12 阅读全文

posted @ 2016-12-23 18:17 澄轶阅读(7640) 评论(0) 推荐(0) 编辑

摘要：机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法。这里IT经理网为您总结一下常见的机器学习算法，以供您在工作和学习中参考。机器学习的算法很多。很多时候困惑人们都是，很多算法是一类算法，而有些算法又是从其他算法中延伸出来的。这里，我们从两个方面来给大家阅读全文

posted @ 2016-12-21 17:01 澄轶阅读(252) 评论(0) 推荐(0) 编辑

spark 大数据 LR测试

摘要：#!/bin/bash size="120Y*10W"date1=`date +%F_%H-%M-%S`config="spark-submit \ --jars /data0/work_space/service/spark-2.0.0-bin-hadoop2.4/jars/hadoop-lzo- 阅读全文

posted @ 2016-12-13 14:44 澄轶阅读(889) 评论(0) 推荐(0) 编辑

spark - tasks is bigger than spark.driver.maxResultSize

摘要：Error Cause caused by actions like RDD’s collect() that send big chunk of data to the driver（不一定是因为RDD的问题哦~） Solution set by SparkConf: conf.set("spar 阅读全文

posted @ 2016-12-13 12:02 澄轶阅读(13557) 评论(0) 推荐(0) 编辑

hadoop生态圈介绍

摘要：原文地址：大数据技术Hadoop入门理论系列之一 hadoop生态圈介绍 1. hadoop 生态概况 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。原文地址：大数据技术Hadoop入门理论系列之一 hadoop生态圈介绍 1. hadoop 生态概况 Hadoop是一个由Ap 阅读全文

posted @ 2016-12-08 21:07 澄轶阅读(350) 评论(0) 推荐(0) 编辑

hdfs 复制路径下所有文件

摘要：hadoop fs -cp