12 2018 档案
摘要：一.概述 GraphX是Spark用于图形并行计算的新组件。在较高的层次上，GraphX通过引入一个新的Graph抽象来扩展Spark RDD:一个定向的多图，其属性附加到每个定点和边。为了支持图计算，GraphX公开了一组基本的操作符（子图，joinVertices和aggregateMessag
阅读全文
摘要：1.复制启动脚本到资源目录 2.增加mysqld服务控制脚本执行权限 3.mysql服务添加到系统服务 4.检测mysqld服务是否生效 表明服务已经启动，以后可以使用service命令启动mysql 5.启动，关闭，重启mysql命令 启动：service mysqld start 关闭：serv
阅读全文
摘要：注意：Centos7把mysql数据库换成了Mariadb，因此在安装mysql数据库之前需要先删除Mariadb！ 1.查看Mariadb版本并删除 2.删除/etc下的my.cnf 3.添加mysql用户组和mysql用户 1.检测是否存在mysql用户组和mysql用户 2.没有，则添加 备注
阅读全文
摘要：结果： 100 [Lorg.apache.spark.sql.Row;::::::::61516 [Lorg.apache.spark.sql.Row;::::::::61656 [Lorg.apache.spark.sql.Row;::::::::61991 [Lorg.apache.spark.
阅读全文
摘要：结果： 在非主键字段名称末尾添加S 去掉非主键字段名称末尾添加的S
阅读全文
摘要：需要：JDK1.8 1.使用Xftp上传jdk的免安装包到3台虚拟机的指定目录下： 2.配置JDK环境变量 执行命令：vi /etc/profile，在文件末尾追加： 然后执行命令：source /etc/profile ，使修改立即生效 检查是否配置成功，执行命令：java -version 表示
阅读全文
摘要：Spark 一.coalesce 1.简介 coalesce常用来合并分区，第二个参数是合并分区时是否产生shuffle。true为产生shuffle，false为不产生shuffle。默认是false不产生shuffle。如果coalesce设置的分区数比原来的分区数还大的话若设置为false则不
阅读全文
摘要：1 package big.data.analyse.scala 2 3 /** 4 * 链式编程原理 5 * Created by zhen on 2018/12/16. 6 */ 7 class Computer{def code = this} 8 class PC extends Computer{def portable = this} 9 /** 10...
阅读全文
摘要：1.输入命令：cd .ssh进入rsa公钥私钥目录（清空旧秘钥） 2.在当前目录下执行ssh-keygen -t rsa，三次回车后生成新的公钥(id_rsa.pub)私钥(id_rsa)文件（每个节点都要重新生成） 3.在主节点上执行命令：cat id_rsa.pub >> authorized_
阅读全文
摘要：过程： Filling queue with 20000 CIFAR images before starting to train. This will take a few minutes. step 0, loss =4.68 (19.0 examples/sec; 6.734 sec/bat
阅读全文
摘要：结果： 分析：Spark读取parquet数据默认为目录，因此可以只指定到你要读取的上级目录即可（本地模式除外），当保存为parquet时，会自动拆分，因此只能指定为上级目录。
阅读全文
摘要：1.执行以下命令关闭防火墙服务 2.检测是否正确关闭 表示正确关闭！
阅读全文
摘要：Centos7默认不安装netstat组件，需要使用时需要自己安装。 1.查看当前机器net-tools包所在位置 2.安装net-tools包 3.使用netstat命令查看端口占用情况 4.查看指定端口
阅读全文
摘要：结果： has running 100 s has running 200 s has running 300 s has running 400 s has running 500 s has running 600 s has running 700 s has running 800 s ha
阅读全文
摘要：结果： 分析： 皮尔逊相关系数（corrcoef）运算速度远超DTW或FASTDTW，但DTW或FASTDTW应用范围更广，适用于等长或变长的比较。
阅读全文
