摘要:
安装jupyter_contrib_nbextensions库 安装该库的命令如下: python -m pip install jupyter_contrib_nbextensions 然后执行: jupyter contrib nbextension install --user --skip- 阅读全文
摘要:
为什么要学习架构?之前,老师教我们软件架构的时候,就告诉我们,软件开发,先从架构入手。他说,弄清楚了架构,再来学习具体的语法和技术就很简单了。以前不懂,底层具体的细节都不了解,如何来构建一个系统呢?就像让我们去建造一栋大厦,刚开始想到的可能就是需要砖、砌墙的工具、、、、、这就像刚学习编程的自己,以为 阅读全文
摘要:
3. 使用 netcat 数据源测试 Flume cd /usr/local/flume sudo vim ./conf/example.conf # example.conf: A single-node Flume configuration # Name the components on t 阅读全文
摘要:
2. 使用 Avro 数据源测试 FlumeAvro 可以发送一个给定的文件给 Flume,Avro 源使用 AVRO RPC 机制。请对 Flume的相关配置文件进行设置,从而可以实现如下功能:在一个终端中新建一个文件helloworld.txt(里面包含一行文本“Hello World”),在另 阅读全文
运行项目连接Mysql时出现警告Establishing SSL connection without server‘s identity verification is not recommende
摘要:
解决: jdbc:mysql://localhost:3306/testdb?characterEncoding=utf-8&useSSL=false 阅读全文
摘要:
2 .编程实现将 RDD 转换为 DataFrame源文件内容如下(包含 id,name,age): 请将数据复制保存到 Linux 系统中,命名为 employee.txt,实现从 RDD 转换得到DataFrame,并按“id:1,name:Ella,age:36”的格式打印出 DataFram 阅读全文
摘要:
Spark SQL 基本操作 将下列 JSON 格式数据复制到 Linux 系统中,并保存命名为 employee.json。 json数据 { "id":1 ,"name":"Ella","age":36} { "id":2,"name":"Bob","age":29 } { "id":3 ,"n 阅读全文
摘要:
2. 编写独立应用程序实现数据去重 对于两个输入文件 A 和 B,编写 Spark 独立应用程序,对两个文件进行合并,并剔除其 中重复的内容,得到一个新文件 C。下面是输入文件和输出文件的一个样例,供参考。 输入文件 A 的样例如下: 20170101 x 20170102 y 20170103 x 阅读全文
摘要:
安装过程参照: http://dblab.xmu.edu.cn/blog/1307-2/ 启动Spark: cd /usr/local/spark bin/spark-shell 运行例子: scala> 8*2+5 res0: Int = 21 退出: :quit 阅读全文