摘要: 3. 使用 netcat 数据源测试 Flume cd /usr/local/flume sudo vim ./conf/example.conf # example.conf: A single-node Flume configuration # Name the components on t 阅读全文
posted @ 2021-01-18 18:49 ziyuliu 阅读(625) 评论(0) 推荐(0) 编辑
摘要: 2. 使用 Avro 数据源测试 FlumeAvro 可以发送一个给定的文件给 Flume,Avro 源使用 AVRO RPC 机制。请对 Flume的相关配置文件进行设置,从而可以实现如下功能:在一个终端中新建一个文件helloworld.txt(里面包含一行文本“Hello World”),在另 阅读全文
posted @ 2021-01-18 18:09 ziyuliu 阅读(1483) 评论(0) 推荐(0) 编辑
摘要: 解决: jdbc:mysql://localhost:3306/testdb?characterEncoding=utf-8&useSSL=false 阅读全文
posted @ 2021-01-18 17:24 ziyuliu 阅读(181) 评论(0) 推荐(0) 编辑
摘要: 2 .编程实现将 RDD 转换为 DataFrame源文件内容如下(包含 id,name,age): 请将数据复制保存到 Linux 系统中,命名为 employee.txt,实现从 RDD 转换得到DataFrame,并按“id:1,name:Ella,age:36”的格式打印出 DataFram 阅读全文
posted @ 2021-01-18 17:10 ziyuliu 阅读(2830) 评论(0) 推荐(0) 编辑
摘要: Spark SQL 基本操作 将下列 JSON 格式数据复制到 Linux 系统中,并保存命名为 employee.json。 json数据 { "id":1 ,"name":"Ella","age":36} { "id":2,"name":"Bob","age":29 } { "id":3 ,"n 阅读全文
posted @ 2021-01-18 13:58 ziyuliu 阅读(2910) 评论(0) 推荐(0) 编辑