该文被密码保护。 阅读全文
摘要:
1. parquet 2. DataFrame 3. //dataSet 转 DataFrame 使用内置函数 阅读全文
摘要:
1. spark 去重 (将每一行数据做为key来分组,这样就进行了去重,然后再取出key就可以了) 原数据: 2012-3-1 a 2012-3-2 b 2012-3-3 c 2012-3-2 b 实现源码: rdd.filter(_.trim().length() > 0).map(line = 阅读全文
摘要:
win10安装mysql5.7.20解压版 mysql安装包可到官网下载,地址:https://dev.mysql.com/downloads/mysql 1、首先解压文件包,我这解压到E:\install_work\mysql目录下: 2、发现mysql根目录下没有data目录和my.ini文件, 阅读全文
摘要:
Mongodb enable authentication MongoDB 默认直接连接,无须身份验证,如果当前机器可以公网访问,且不注意Mongodb 端口(默认 27017)的开放状态,那么Mongodb就会产生安全风险,被利用此配置漏洞,入侵数据库。 容易遭受入侵的环境 使用默认 mongod 阅读全文
摘要:
启动 mongodb./mongod --config /usr/tools/mongodb/mongodb.conf 1. 查询数据库表 show dbs2. 查看无数据的数据库表 db3. 查询文档 show collections4. 查询数据 db.hguStatus.find() 阅读全文
摘要:
1.下载 MySQL 所需要的安装包 网址:https://dev.mysql.com/downloads/mysql/ 2.Select Operating System: 选择 Red Hat ,CentOS 是基于红帽的,Select OS Version: 选择 linux 7 10.通过 阅读全文
摘要:
1. 创建 maven 工程 只加 spark-streaming 这个包就可以 2. 示例代码 阅读全文