摘要：
import org.apache.log4j.{Level, Logger}import org.apache.spark.mllib.classification.LogisticRegressionWithSGDimport org.apache.spark.m... 阅读全文
摘要：
SQL 面试经典问题 行列互相转化 1.行转列select 姓名 as 姓名 ,max(case 课程 when '语文' then 分数 else 0 end) 语文,max(case 课程 when '数学' then 分数 else 0 end) 数学,max(... 阅读全文
摘要：
import java.io.PrintWriterimport org.apache.log4j.{Level, Logger}import org.apache.spark.mllib.linalg.SparseVectorimport org.apache.sp... 阅读全文
摘要：
kafka-0.9.0.1/bin/kafka-server-start.sh ../config/server.properties &bin/kafka-console-producer.sh --broker-list hadoop1:9092,hadoop2:... 阅读全文
摘要：
机器学习重点与步骤 1.找到数据集，提取特征向量 训练集 & 测试集2.使用正确的机器算法3.保证高的可靠性 阅读全文
摘要：
Sqoop 1.4.6执行方法 sqoop --options-file options11.hdfstomysqlexport--connectjdbc:mysql://bigdatacloud:3306/test--usernameroot--password... 阅读全文
摘要：
java 插入数据到mysql 通过sqoop 导入到hive 中，kylin模拟见cube 时间和 数据膨胀率 kylin 数据插入到 HBaseKylinHBase 1.1.3Hive 1.2.1Hadoop 2.5.1create table infoageti... 阅读全文
摘要：
spark.shuffle.file.buffer默认值：32k参数说明：该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前，会先写入buffer缓冲中，待缓冲写满之后，才会溢写到... 阅读全文
摘要：
启动hive --service metastore启动 dfs yarn[root@bigdatastorm bin]# ./spark-sql --master yarn --deploy-mode client --driver-memory 512m --ex... 阅读全文
摘要：
Spark streaming 应用简单示例package com.orc.streamimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.streaming.{Second... 阅读全文