摘要：
报错1：执行到如下就不执行了，没有显示Successfully registered new MBean. [root@slave1 bin]# /usr/local/software/flume-1.9.0/bin/flume-ng agent -n a1 -c /usr/local/softwa 阅读全文
摘要：
hbase和flume查看版本时显示如下 [root@slave1 flume-1.9.0]# hbase version 错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty SLF4J: Class path contains m 阅读全文
摘要：
错误描述 # 启动maxwell，jps查看没有显示maxwell的进程 /opt/software/maxwell/bin/maxwell --config /opt/software/maxwell/config.properties --daemon # 使用前台启动 /opt/softwar 阅读全文
摘要：
报错1 [root@slave1 data_mocker]# kafka-console-consumer.sh --bootstrap-server slave1:9092 --topic topic_db [2023-12-19 18:31:12,770] WARN [Consumer clie 阅读全文
摘要：
在centos7.6上使用rpm包安装了mysql8.0.35，现在使用pip安装MySQL-python # 安装wget yum -y install wget # 安装pip wget https://bootstrap.pypa.io/get-pip.py curl https://boot 阅读全文
摘要：
虚拟及没有启动任何服务器查看jps会显示jps，如果没有显示任何东西 [root@slave2 ~]# jps 9647 Jps 解决方案 # 进入/tmp查看 [root@slave1 dfs]# cd /tmp [root@slave1 tmp]# ll 总用量 48 drwxr-xr-x. 2 阅读全文
摘要：
报错1：mysql账号密码、数据库名、ip、端口都没有问题，仍然报错 2023-12-18 23:49:57.550 [main] WARN Engine - prioriy set to 0, because NumberFormatException, the value is: null 20 阅读全文
摘要：
启动hadoop，jps查看报错 [root@slave1 home]# jps 7798 -- process information unavailable 7081 -- process information unavailable 查看进程是否存在 [root@slave1 home]# 阅读全文
摘要：
将datax.tar.gz上传到服务器 # 解压 tar -zxvf datax.tar.gz -C /opt/software/ # 验证 python /opt/software/datax/bin/datax.py /opt/software/datax/job/job.json 查看详情 [ 阅读全文
摘要：
前提 已经案例jdk、hadoop、hive 主机名：master 映射：192.168.128.129 master 安装scala # 将scala-2.12.15.tgz上传到服务器 # 解压 tar -zxvf scala-2.12.15.tgz # 移动 mv scala-2.12.15 阅读全文
摘要：
前提 已经安装了jdk、mysql、hadoop 主机名：master 映射：192.168.128.129 master 将apache-hive-2.3.9-bin.tar.gz上传到服务器 # 解压 tar -zxvf apache-hive-2.3.9-bin.tar.gz # 移动 mv 阅读全文
摘要：
前提 已经安装了hadoop、mysql 将sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz上传到服务器 # 解压 tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz # 移动 mv /home/sqoop-1 阅读全文
摘要：
前提 已经安装了jdk1.8、zookeeper3.6.3 主机名：master 映射：192.168.128.129 master 安装zookeeper单机版 # 将apache-zookeeper-3.6.3-bin.tar.gz上传到服务器 # 解压 tar -zxvf apache-zoo 阅读全文
摘要：
前提 已经安装了jdk1.8 将apache-flume-1.9.0-bin.tar.gz上传到服务器 # 解压 tar -zxvf apache-flume-1.9.0-bin.tar.gz # 移动 mv /home/apache-flume-1.9.0-bin/* /usr/local/sof 阅读全文
摘要：
前提：已经安装jdk 将hadoop-2.9.2.tar.gz上传到服务器 # 解压 tar -zxvf hadoop-2.9.2.tar.gz # 移动 mv hadoop-2.9.2 /usr/local/software 配置 vi /etc/profile # 配置如下 export HAD 阅读全文
摘要：
先安装vim yum -y install vim* 安装jdk # 解压 tar -zxvf jdk-8u181-linux-x64.tar.gz # 移动 mv jdk1.8.0_181/ /usr/local/software/ # 配置 vim /etc/profile # 配置如下 exp 阅读全文
摘要：
镜像下载 创建新的虚拟机 自定义 稍后安装操作系统 选择版本 指定名称和位置 指定核心数，推荐是电脑的一半，任务管理器，性能中查看 内存指定4GB 使用网络地址转换 磁盘大小 选择镜像，网络适配器默认NAT 编辑，虚拟网络编辑器，选择NAT模式，勾选[使用本地DHCP服务将IP地址分配给虚拟机] 启 阅读全文
摘要：
远程新建表 CREATE TABLE `UserBehavior` ( `id` int NOT NULL AUTO_INCREMENT, `user_id` varchar(45) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFA 阅读全文
摘要：
准备csv文件 创建表 使用ssh工具登录虚拟机服务器，将user.csv上传到服务器，导入mysql [root@master data]# pwd /home/data [root@master data]# ls user.csv # 开始导入 [root@master data]# mysq 阅读全文
摘要：
本地导入本地 创建好数据库，打开cmd，登录mysql，切换数据库，执行命令导入，source [sql文件路径] C:\Users\ychen>mysql -u root -p Enter password: ******** Welcome to the MySQL monitor. Comma 阅读全文
摘要：
导入sql脚本 速度较慢 导出sql脚本，导出速度快 导入csv 查看详情 报错3948 show variables like 'local_infile'; # 修改权限 set global local_infile = 1; SQL错误 (5): Out of memory (Needed2 阅读全文
摘要：
新建项目 选择本地虚拟环境 启动 浏览器访问：http://127.0.0.1:5000/ 安装依赖 pip install flask_sqlalchemy -i https://pypi.tuna.tsinghua.edu.cn/simple 测试数据库连接 import pymysql imp 阅读全文
摘要：
代码如下 from pyspark.sql import SparkSession from pyspark.sql.types import StructType, StringType, IntegerType, ArrayType if __name__ == '__main__': # 0. 阅读全文
摘要：
版本环境 # andconda版本 Anaconda3-5.2.0-Linux-x86_64.sh # python版本 [root@master bin]# python3 Python 3.6.5 |Anaconda, Inc.| (default, Apr 29 2018, 16:14:56) 阅读全文
摘要：
配置maven仓库：窗口，首选项，连接，驱动，Maven，添加 https://repo.huaweicloud.com/repository/maven/ 上移至第1行 配置hive驱动：数据库，驱动管理器，Hadoop，Apache Hive，编辑 库，添加工件 填写hive-jdbc 选自hi 阅读全文
摘要：
下载地址 安装 查看详情 双击安装程序 选择语言 同意 安装路径 连接mysql 创建数据库 编辑数据库 删除数据库 创建表 表名 主键，非空，自增 查看语句 查看表结构，修改表结构 查看表数据，修改表数据：数据，右键空白处，插入记录行，提交 执行sql 设置字体大小：工具，首选项，SQL 阅读全文
摘要：
查看当前系统的名称 [root@master dfs]# cat /etc/hosts 192.168.128.78 hadoop01 查看core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</ 阅读全文
摘要：
查看hive的数据库 hive> show databases; OK bigdata default Time taken: 0.592 seconds, Fetched: 2 row(s) 将json数据上传到服务器 [root@master data]# pwd /home/data [roo 阅读全文
摘要：
启动hadoop，浏览器访问：http://192.168.128.78:9870/ 显示目录结构 [root@master ~]# hadoop dfs -ls -R / WARNING: Use of this script to execute dfs is deprecated. WARNI 阅读全文
摘要：
启动hadoop，启动hive [root@master ~]# start-dfs.sh [root@master ~]# nohup hive --service metastore & 使用navicat连接mysql 常用命令 # 进入hive [root@master ~]# hive h 阅读全文
摘要：
报错1 [root@localhost ~]# vim -bash: vim: 未找到命令 安装vim yum -y install vim* # 查看是否安装成功 [root@hadoop01 hadoop]# rpm -qa |grep vim vim-X11-7.4.629-8.el7_9.x 阅读全文
摘要：
报错如下，gcc版本太低 ^ server.c:5346:31: 错误：‘struct redisServer’没有名为‘server_cpulist’的成员 redisSetCpuAffinity(server.server_cpulist); ^ server.c: 在函数‘hasActiveC 阅读全文
摘要：
下载地址 安装 # 将redis压缩包上传到服务器/home/software，并解压 tar -zxvf redis-6.0.6.tar.gz # 安装gcc yum install gcc-c++ -y # 查看版本 gcc -v # 进入解压目录 cd redis-6.0.6 # 编译 mak 阅读全文
摘要：
使用本地python环境可以成功执行 import pandas as pd import matplotlib.pyplot as plt # 设置字体 plt.rcParams['font.sans-serif'] = ['SimHei'] # 能正确显示负号 plt.rcParams['axe 阅读全文
摘要：
右键，管理，克隆 创建完整克隆 名称、位置 修改ip：编辑，虚拟网络编辑器，取消勾选 启动虚拟机 # 配置网卡 cd /etc/sysconfig/network-scripts/ vi ifcfg-ens33 # 修改为如下 BOOTPROTO=static ONBOOT=yes IPADDR=1 阅读全文
摘要：
linux 01 1 2 3 4 5 真实机中安装CentOS(一) 真实机中安装CentOS(二) 虚拟机VirtualBox安装CentOS7，自动分配ip VirtualBox中复制多个服务器并配置不同的ip Ubuntu入门 CentOS_Server with GUI入门 VirtualB 阅读全文
摘要：
先确认hadoop是否启动成功，将hive的压缩包上传到服务器的/home/software目录下 # 修改权限 chmod 755 apache-hive-3.1.2-bin.tar.gz # 解压 tar -zxvf apache-hive-3.1.2-bin.tar.gz 全局配置 vim / 阅读全文
摘要：
将压缩包上传到服务器 # 上传到/home/software路径 # 设置权限 chmod 755 hadoop-3.2.1.tar.gz # 解压 tar -zxvf hadoop-3.2.1.tar.gz # 配置 vim /etc/profile export HADOOP_HOME=/hom 阅读全文