soyosuyang

2017年10月10日

摘要： 1.people.txtsoyo8, 35小周, 30小华, 19soyo,882./** * Created by soyo on 17-10-10. * 利用反射机制推断RDD模式 */import org.apache.spark.sql.catalyst.encoders.Expressio 阅读全文

posted @ 2017-10-10 20:24 soyosuyang 阅读(425) 评论(0) 推荐(0) 编辑

Spark SQL

摘要： 1.DataFrame与RDD的区别 RDD是分布式的 Java对象的集合 DataFrame是一种以RDD为基础的分布式数据集，也就是分布式的Row对象的集合（每个Row对象代表一行记录），提供了详细的结构信息，也就是我们经常说的模式（schema）.简单理解就是类似表 2.Schema 是什么阅读全文

posted @ 2017-10-10 20:20 soyosuyang 阅读(177) 评论(0) 推荐(0) 编辑

Hadoop 的使用

摘要： hadoop：hadoop启动：./sbin/start-dfs.shhadoop关闭：./sbin/stop-dfs.shbin文件用于在HDFS创建数据HDFS 中创建用户目录：./bin/hdfs dfs -mkdir -p /user/hadoop往input中放数据：./bin/hdfs 阅读全文

posted @ 2017-10-10 20:07 soyosuyang 阅读(247) 评论(0) 推荐(0) 编辑

hadoop hbase 快速启动关闭配置：

摘要： vim ~/.bashrcexport JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 //JDK安装路径export HADOOP_HOME=/usr/local/hadoop //Hdoop 安装路径export HADOOP_COMMON_LIB_NAT 阅读全文

posted @ 2017-10-10 20:05 soyosuyang 阅读(316) 评论(0) 推荐(0) 编辑

2017年10月9日

ubuntu 16.04 Hbase 安装

摘要： 1.解压安装包至路径 /usr/local 1.1.sudo tar -zxf ~/下载/hbase-1.1.2-bin.tar.gz -C /usr/local 2.将解压的文件名hbase-1.1.2改为hbase方便使用 2.1sudo mv /usr/local/hbase-1.1.2 /u 阅读全文

posted @ 2017-10-09 19:10 soyosuyang 阅读(905) 评论(0) 推荐(0) 编辑

2017年9月10日

fprintf与stderr、stdout的使用

摘要： #include void main() { fprintf(stderr,"soyo8888!"); fprintf(stdout,"soyo15can't open it !\n"); printf("soyocan't open it!\n"); } －－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－上面程序编译成fprint文件，运行显示... 阅读全文

posted @ 2017-09-10 11:44 soyosuyang 阅读(1167) 评论(0) 推荐(0) 编辑

2017年9月1日

Scala快速统计文件中特定单词，字符的个数

摘要：注释：特定单词的统计同理阅读全文

posted @ 2017-09-01 16:19 soyosuyang 阅读(2159) 评论(0) 推荐(0) 编辑

2017年8月22日

自动生成Makefile的全过程详解

摘要：一、简介 Linux下的程序开发人员，一定都遇到过Makefile，用make命令来编译自己写的程序确实是很方便。一般情况下，大家都是手工写一个简单Makefile，如果要想写出一个符合自由软件惯例的Makefile就不那么容易了. 在本文中，将介绍如何使用autoconf和automake两个工具阅读全文

posted @ 2017-08-22 14:58 soyosuyang 阅读(4126) 评论(0) 推荐(0) 编辑

2017年8月12日

合并数据+统计流数

摘要： #!/bin/bash for file in *.txt;do echo $file done for file in *.txt;do { cat $file >>all.txt } done line=$(cat all.txt|sed -n '$=') cat all.tx... 阅读全文

posted @ 2017-08-12 14:12 soyosuyang 阅读(117) 评论(0) 推荐(0) 编辑

分割数据

摘要： #!/bin/bash #soyo1.sh #FILE=$1 NUM=$1 #cat $1 | sed -n "1,${NUM}p" for file in *.txt;do echo $file done for file in *.txt;do { cat $file | sed -n "1,${NUM... 阅读全文

posted @ 2017-08-12 12:55 soyosuyang 阅读(90) 评论(0) 推荐(0) 编辑

公告