该文被密码保护。 阅读全文
摘要：
1. parquet 2. DataFrame 3. //dataSet 转 DataFrame 使用内置函数 阅读全文
摘要：
1. spark 去重 （将每一行数据做为key来分组，这样就进行了去重，然后再取出key就可以了） 原数据： 2012-3-1 a 2012-3-2 b 2012-3-3 c 2012-3-2 b 实现源码： rdd.filter(_.trim().length() > 0).map(line = 阅读全文
摘要：
win10安装mysql5.7.20解压版 mysql安装包可到官网下载，地址：https://dev.mysql.com/downloads/mysql 1、首先解压文件包，我这解压到E:\install_work\mysql目录下： 2、发现mysql根目录下没有data目录和my.ini文件， 阅读全文
摘要：
Mongodb enable authentication MongoDB 默认直接连接，无须身份验证，如果当前机器可以公网访问，且不注意Mongodb 端口（默认 27017）的开放状态，那么Mongodb就会产生安全风险，被利用此配置漏洞，入侵数据库。 容易遭受入侵的环境 使用默认 mongod 阅读全文
摘要：
启动 mongodb./mongod --config /usr/tools/mongodb/mongodb.conf 1. 查询数据库表 show dbs2. 查看无数据的数据库表 db3. 查询文档 show collections4. 查询数据 db.hguStatus.find() 阅读全文
摘要：
1.下载 MySQL 所需要的安装包 网址：https://dev.mysql.com/downloads/mysql/ 2.Select Operating System: 选择 Red Hat ，CentOS 是基于红帽的，Select OS Version: 选择 linux 7 10.通过 阅读全文
摘要：
1. 创建 maven 工程 只加 spark-streaming 这个包就可以 2. 示例代码 阅读全文