摘要：
第一步：引入jar到pom.xml、 第二步：demo代码示例 以下代码实现了，连接ftp，遍历ftp服务器上的目录结构 阅读全文
摘要：
#文档元数据 一个文档不仅仅包含它的数据 ，也包含 元数据 —— 有关 文档的信息。 三个必须的元数据元素如下：## _index 文档在哪存放 ## _type 文档表示的对象类别 ## _id 文档唯一标识# 索引文档 #通过使用 index API ，文档可以被 索引 —— 存储和使文档可被搜 阅读全文
摘要：
转自：https://blog.csdn.net/u011391839/article/details/62892020 Linux的时间分为System Clock（系统时间）和Real Time Clock （硬件时间，简称RTC）。 系统时间：指当前Linux Kernel中的时间。 硬件时间 阅读全文
摘要：
初步进入centos学习，配置用户 1，创建用户 创建用户 hadoop 2，创建密码 3，用户授权 创建账户必须授权，不然，个人用户的权限只可以在本home下有权限，其他的必须有授权，一般需要root的权限sudo的命令授权一般在sudoers里面找到sudoer文件位置看下文件的权限 只读的文件 阅读全文
摘要：
1.集群安装es ES内部索引原理： 《时间序列数据库的秘密（1）—— 介绍》 《时间序列数据库的秘密 (2)——索引》 《时间序列数据库的秘密（3）——加载和分布式计算》 1.1 环境 1.2 三台机器都安装jdk最新版本 1.3 三台机器都统一用户为spark 1.4 使用spark用户，在三台 阅读全文
摘要：
Structured Streaming默认支持的sink类型有File sink，Foreach sink，Console sink，Memory sink。 ForeachWriter实现： 以写入redis为例 package com.dx.streaming.producer; import 阅读全文
摘要：
Spark Sql提供了丰富的内置函数让开发者来使用，但实际开发业务场景可能很复杂，内置函数不能够满足业务需求，因此spark sql提供了可扩展的内置函数。 UDF：是普通函数，输入一个或多个参数，返回一个值。比如：len(),isnull() UDAF：是聚合函数，输入一组值，返回一个聚合结果。 阅读全文
摘要：
参考《在Kafka中使用Avro编码消息：Consumer篇》、《在Kafka中使用Avro编码消息：Producter篇》 在了解如何avro发送到kafka，再从kafka解析avro数据之前，我们可以先看下如何使用操作字符串： producer: package com.spark; impo 阅读全文
摘要：
异常问题：Container is running beyond virtual memory limits. Current usage: 119.5 MB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Ki 阅读全文
摘要：
Centos7出现异常：Failed to start LSB: Bring up/down networking. 按照《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（一）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。》配置好虚拟机，正在使 阅读全文
摘要：
https://blog.csdn.net/sptoor/article/details/11484855 https://blog.csdn.net/tengxing007/article/details/53241169d账户名可以自己设置，也可以修改hadoop-core的版本 https:/ 阅读全文
摘要：
将arvo格式数据发送到kafka的topic 第一步：定制avro schema: 定义一个avro的schema文件userlog.avsc，内容如上。 该schema包含字段：ip:string,identity:string,userid:int,time:string,requestinf 阅读全文
Hadoop：开发机运行spark程序，抛出异常：ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
摘要：
问题： windows开发机运行spark程序，抛出异常：ERROR Shell: Failed to locate the winutils binary in the hadoop binary path，但是可以正常执行，并不影响结果。 这里所执行的程序是： 解决方案： 1.下载winutil 阅读全文
摘要：
如何搭建配置centos虚拟机请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（一）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。》 如何安装hadoop2.9.0请参考《Kafka：ZK+Kafka+Spark Streaming集群环 阅读全文
摘要：
如何搭建配置centos虚拟机请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（一）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。》 如何安装hadoop2.9.0请参考《Kafka：ZK+Kafka+Spark Streaming集群环 阅读全文
摘要：
如何搭建配置centos虚拟机请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（一）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。》 如何安装hadoop2.9.0请参考《Kafka：ZK+Kafka+Spark Streaming集群环 阅读全文
摘要：
DataManager启动失败 启动过程中发现一个问题：slave1,slave2,slave3都是只启动了DataNode，而DataManager并没有启动： 这里一个错误原因可以从： slaves各自的nodemanager日志查看。 查看slave1虚拟机的/opt/hadoop-2.9.0 阅读全文
摘要：
Spark以yarn方式运行时抛出异常： 解决方案： 主要是给节点分配的内存少，yarn kill了spark application。给yarn-site.xml增加配置： 重启hadoop。然后再重新执行./spark-shell --master yarn-client即可。 问题解决过程记录 阅读全文
摘要：
启动之后发现slave上正常启动了DataNode,DataManager，但是过了几秒后发现DataNode被关闭 以slave1上错误日期为例查看错误信息： 找到错误信息： 解决方案 错误问题原因：多次格式化导致的。 1）在master执行sbin/stop-all.sh，关闭hadoop: 2 阅读全文
摘要：
启动问题： 执行start-all.sh出现以下异常信息： 解决方案： Just added export JAVA_HOME=/usr/java/default in /root/.bashrc 之后尝试重新启动hadoop。 参考《https://blog.csdn.net/Abandon_Su 阅读全文