soyosuyang

2017年10月15日

摘要：运行程序之前使6666处于监听模式：nc -l 6666 之后输入的数据会被程序捕捉到 nc命令详解： NetCat，在网络工具中有“瑞士军刀”美誉，其有Windows和Linux的版本。因为它短小精悍（1.84版本也不过25k，旧版本或缩减版甚至更小）、功能实用，被设计为一个简单、可靠的网络工具，阅读全文

posted @ 2017-10-15 19:43 soyosuyang 阅读(550) 评论(0) 推荐(0) 编辑

IDEA Spark Streaming 操作(文件源)

摘要：结果: Time: 1508045550000 ms Time: 1508045565000 ms Time: 1508045580000 ms (88,2)(4,1)(8,1)(ya,1)(55,2)(me,2)(49,1)(i,4)(9,1)(but,1)(1,2)(dont,1)(2,2)(7 阅读全文

posted @ 2017-10-15 13:36 soyosuyang 阅读(594) 评论(0) 推荐(0) 编辑

2017年10月14日

Spark 操作Hive 流程

摘要： 1.ubuntu 装mysql 2.进入mysql： 3.mysql>create database hive （这个将来是存你在Hive中建的数据库以及表的信息的（也就是元数据））mysql=》hive 这里不存具体数值 4.mysql> grant all on *.* to hive@loc 阅读全文

posted @ 2017-10-14 18:23 soyosuyang 阅读(2943) 评论(0) 推荐(0) 编辑

spark 操作Hive时遇到的问题

摘要： To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).17/10/14 17:34:00 WARN util.NativeCodeLoader: Unable to lo 阅读全文

posted @ 2017-10-14 17:40 soyosuyang 阅读(1994) 评论(0) 推荐(1) 编辑

2017年10月13日

IDEA 中Spark SQL通过JDBC连接mysql数据库

摘要：一.IDEA装驱动： 1.下载一个MySQL的JDBC驱动：mysql-connector-java-5.1.44.tar.gz2.在idea Open Moudle Settings 在 Moudle中选Dependencies + JDC驱动的解压位置选（mysql-connector-ja 阅读全文

posted @ 2017-10-13 13:20 soyosuyang 阅读(8053) 评论(0) 推荐(0) 编辑

2017年10月12日

Spark中统计程序运行时间

摘要：结果： NowDate：结果类似为：2017-10-12 20:14:5714:5715:0300:06 (差值结果）阅读全文

posted @ 2017-10-12 20:24 soyosuyang 阅读(3777) 评论(0) 推荐(0) 编辑

Hive VS Hbase

摘要： 1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能阅读全文

posted @ 2017-10-12 15:57 soyosuyang 阅读(175) 评论(0) 推荐(0) 编辑

Spark SQL 操作Hive 数据

摘要：结果：+ + +|key| value|+ + +|238|val_238|| 86| val_86||311|val_311|| 27| val_27||165|val_165||409|val_409||255|val_255||278|val_278|| 98| val_98||484|val 阅读全文

posted @ 2017-10-12 15:28 soyosuyang 阅读(1356) 评论(0) 推荐(0) 编辑

Spark SQL读parquet文件及保存

摘要：补充：需要多数据源整合查询时： val data=result1.union(result2) data.createOrReplaceTempView("data") 之后执行后续查询阅读全文

posted @ 2017-10-12 15:20 soyosuyang 阅读(5611) 评论(0) 推荐(1) 编辑

2017年10月10日

Spark SQL中 RDD 转换到 DataFrame (方法二）

摘要：强调它与方法一的区别：当DataFrame的数据结构不能够被提前定义。例如：（1)记录结构已经被编码成字符串 (2) 结构在文本文件中，可能需要为不同场景分别设计属性等以上情况出现适用于以下方法。1.people.txt:soyo8, 35小周, 30小华, 19soyo,88/** * Created by soyo on 17-10-10. * 使用编程方式定义RDD模式 */ ... 阅读全文

posted @ 2017-10-10 20:27 soyosuyang 阅读(315) 评论(0) 推荐(0) 编辑

公告