12 2023 档案
摘要：参考0，参考1，参考2，参考3，参考4 编写轮播图 <!doctype html> <html> <head> <meta charset="utf-8"> <title>bulletin_board</title> <link rel="stylesheet" href="./bootstrap.
阅读全文
摘要：前言 参考 样式1 打开博客后台，页面定制CSS代码 /*生成博客目录的CSS*/ #uprightsideBar{ font-size:12px; font-family:Arial, Helvetica, sans-serif; text-align:left; position:fixed;/
阅读全文
摘要：概述 光流是空间运动物体在观测成像平面上的像素运动的 "瞬时速度"，根据各个像素点的速度矢量特征，可以对图像进行动态分析，例如目标跟踪。 亮度恒定：同一点随着时间的变化，其亮度不会发生改变。 小运动：随着时间的变化不会引起位置的剧烈变化，只有小运动情况下才能用前后帧之间单位位置变化引起的灰度变化去近
阅读全文
摘要：目录 参考 查看详情 toc.py import sys import os import time headline = ['#','##','###','####','#####','######'] lines_in_file = [] """生成目录列表中的某一项""" def creat_
阅读全文
摘要：错误1 # 重写数据 hive (edu)> insert overwrite table dwd_trade_cart_add_inc > select data.id, > data.user_id, > data.course_id, > date_format(data.create_tim
阅读全文
摘要：配置 <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property> <property> <name>hive.server2.thrift.bind.host</name> <value>slav
阅读全文
摘要：报错1 hive> show databases; OK Failed with exception java.io.IOException:java.lang.RuntimeException: Error in configuring object Time taken: 0.474 secon
阅读全文
摘要：修改hadoop配置 vi /usr/local/software/hadoop-2.9.2/etc/hadoop/yarn-site.xml # 添加如下 <configuration> <property> <name>yarn.nodemanager.resource.memory-mb</n
阅读全文
摘要：报错1：执行到如下就不执行了，没有显示Successfully registered new MBean. [root@slave1 bin]# /usr/local/software/flume-1.9.0/bin/flume-ng agent -n a1 -c /usr/local/softwa
阅读全文
摘要：hbase和flume查看版本时显示如下 [root@slave1 flume-1.9.0]# hbase version 错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty SLF4J: Class path contains m
阅读全文
摘要：错误描述 # 启动maxwell，jps查看没有显示maxwell的进程 /opt/software/maxwell/bin/maxwell --config /opt/software/maxwell/config.properties --daemon # 使用前台启动 /opt/softwar
阅读全文
摘要：报错1 [root@slave1 data_mocker]# kafka-console-consumer.sh --bootstrap-server slave1:9092 --topic topic_db [2023-12-19 18:31:12,770] WARN [Consumer clie
阅读全文
摘要：在centos7.6上使用rpm包安装了mysql8.0.35，现在使用pip安装MySQL-python # 安装wget yum -y install wget # 安装pip wget https://bootstrap.pypa.io/get-pip.py curl https://boot
阅读全文
摘要：虚拟及没有启动任何服务器查看jps会显示jps，如果没有显示任何东西 [root@slave2 ~]# jps 9647 Jps 解决方案 # 进入/tmp查看 [root@slave1 dfs]# cd /tmp [root@slave1 tmp]# ll 总用量 48 drwxr-xr-x. 2
阅读全文
摘要：报错1：mysql账号密码、数据库名、ip、端口都没有问题，仍然报错 2023-12-18 23:49:57.550 [main] WARN Engine - prioriy set to 0, because NumberFormatException, the value is: null 20
阅读全文
摘要：启动hadoop，jps查看报错 [root@slave1 home]# jps 7798 -- process information unavailable 7081 -- process information unavailable 查看进程是否存在 [root@slave1 home]#
阅读全文
摘要：将datax.tar.gz上传到服务器 # 解压 tar -zxvf datax.tar.gz -C /opt/software/ # 验证 python /opt/software/datax/bin/datax.py /opt/software/datax/job/job.json 查看详情 [
阅读全文
摘要：前提 已经案例jdk、hadoop、hive 主机名：master 映射：192.168.128.129 master 安装scala # 将scala-2.12.15.tgz上传到服务器 # 解压 tar -zxvf scala-2.12.15.tgz # 移动 mv scala-2.12.15
阅读全文
摘要：前提 已经安装了jdk、mysql、hadoop 主机名：master 映射：192.168.128.129 master 将apache-hive-2.3.9-bin.tar.gz上传到服务器 # 解压 tar -zxvf apache-hive-2.3.9-bin.tar.gz # 移动 mv
阅读全文
摘要：前提 已经安装了hadoop、mysql 将sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz上传到服务器 # 解压 tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz # 移动 mv /home/sqoop-1
阅读全文
摘要：前提 已经安装了jdk1.8、zookeeper3.6.3 主机名：master 映射：192.168.128.129 master 安装zookeeper单机版 # 将apache-zookeeper-3.6.3-bin.tar.gz上传到服务器 # 解压 tar -zxvf apache-zoo
阅读全文
摘要：前提 已经安装了jdk1.8 将apache-flume-1.9.0-bin.tar.gz上传到服务器 # 解压 tar -zxvf apache-flume-1.9.0-bin.tar.gz # 移动 mv /home/apache-flume-1.9.0-bin/* /usr/local/sof
阅读全文
摘要：前提：已经安装jdk 将hadoop-2.9.2.tar.gz上传到服务器 # 解压 tar -zxvf hadoop-2.9.2.tar.gz # 移动 mv hadoop-2.9.2 /usr/local/software 配置 vi /etc/profile # 配置如下 export HAD
阅读全文
摘要：先安装vim yum -y install vim* 安装jdk # 解压 tar -zxvf jdk-8u181-linux-x64.tar.gz # 移动 mv jdk1.8.0_181/ /usr/local/software/ # 配置 vim /etc/profile # 配置如下 exp
阅读全文
摘要：镜像下载 创建新的虚拟机 自定义 稍后安装操作系统 选择版本 指定名称和位置 指定核心数，推荐是电脑的一半，任务管理器，性能中查看 内存指定4GB 使用网络地址转换 磁盘大小 选择镜像，网络适配器默认NAT 编辑，虚拟网络编辑器，选择NAT模式，勾选[使用本地DHCP服务将IP地址分配给虚拟机] 启
阅读全文
摘要：远程新建表 CREATE TABLE `UserBehavior` ( `id` int NOT NULL AUTO_INCREMENT, `user_id` varchar(45) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFA
阅读全文
摘要：准备csv文件 创建表 使用ssh工具登录虚拟机服务器，将user.csv上传到服务器，导入mysql [root@master data]# pwd /home/data [root@master data]# ls user.csv # 开始导入 [root@master data]# mysq
阅读全文
摘要：本地导入本地 创建好数据库，打开cmd，登录mysql，切换数据库，执行命令导入，source [sql文件路径] C:\Users\ychen>mysql -u root -p Enter password: ******** Welcome to the MySQL monitor. Comma
阅读全文
摘要：导入sql脚本 速度较慢 导出sql脚本，导出速度快 导入csv 查看详情 报错3948 show variables like 'local_infile'; # 修改权限 set global local_infile = 1; SQL错误 (5): Out of memory (Needed2
阅读全文
摘要：新建项目 选择本地虚拟环境 启动 浏览器访问：http://127.0.0.1:5000/ 安装依赖 pip install flask_sqlalchemy -i https://pypi.tuna.tsinghua.edu.cn/simple 测试数据库连接 import pymysql imp
阅读全文
摘要：代码如下 from pyspark.sql import SparkSession from pyspark.sql.types import StructType, StringType, IntegerType, ArrayType if __name__ == '__main__': # 0.
阅读全文
摘要：版本环境 # andconda版本 Anaconda3-5.2.0-Linux-x86_64.sh # python版本 [root@master bin]# python3 Python 3.6.5 |Anaconda, Inc.| (default, Apr 29 2018, 16:14:56)
阅读全文
摘要：配置maven仓库：窗口，首选项，连接，驱动，Maven，添加 https://repo.huaweicloud.com/repository/maven/ 上移至第1行 配置hive驱动：数据库，驱动管理器，Hadoop，Apache Hive，编辑 库，添加工件 填写hive-jdbc 选自hi
阅读全文
摘要：下载地址 安装 查看详情 双击安装程序 选择语言 同意 安装路径 连接mysql 创建数据库 编辑数据库 删除数据库 创建表 表名 主键，非空，自增 查看语句 查看表结构，修改表结构 查看表数据，修改表数据：数据，右键空白处，插入记录行，提交 执行sql 设置字体大小：工具，首选项，SQL
阅读全文
摘要：查看当前系统的名称 [root@master dfs]# cat /etc/hosts 192.168.128.78 hadoop01 查看core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</
阅读全文
摘要：查看hive的数据库 hive> show databases; OK bigdata default Time taken: 0.592 seconds, Fetched: 2 row(s) 将json数据上传到服务器 [root@master data]# pwd /home/data [roo
阅读全文
摘要：启动hadoop，浏览器访问：http://192.168.128.78:9870/ 显示目录结构 [root@master ~]# hadoop dfs -ls -R / WARNING: Use of this script to execute dfs is deprecated. WARNI
阅读全文
摘要：启动hadoop，启动hive [root@master ~]# start-dfs.sh [root@master ~]# nohup hive --service metastore & 使用navicat连接mysql 常用命令 # 进入hive [root@master ~]# hive h
阅读全文
摘要：报错1 [root@localhost ~]# vim -bash: vim: 未找到命令 安装vim yum -y install vim* # 查看是否安装成功 [root@hadoop01 hadoop]# rpm -qa |grep vim vim-X11-7.4.629-8.el7_9.x
阅读全文
摘要：报错如下，gcc版本太低 ^ server.c:5346:31: 错误：‘struct redisServer’没有名为‘server_cpulist’的成员 redisSetCpuAffinity(server.server_cpulist); ^ server.c: 在函数‘hasActiveC
阅读全文
摘要：下载地址 安装 # 将redis压缩包上传到服务器/home/software，并解压 tar -zxvf redis-6.0.6.tar.gz # 安装gcc yum install gcc-c++ -y # 查看版本 gcc -v # 进入解压目录 cd redis-6.0.6 # 编译 mak
阅读全文
摘要：使用本地python环境可以成功执行 import pandas as pd import matplotlib.pyplot as plt # 设置字体 plt.rcParams['font.sans-serif'] = ['SimHei'] # 能正确显示负号 plt.rcParams['axe
阅读全文
摘要：右键，管理，克隆 创建完整克隆 名称、位置 修改ip：编辑，虚拟网络编辑器，取消勾选 启动虚拟机 # 配置网卡 cd /etc/sysconfig/network-scripts/ vi ifcfg-ens33 # 修改为如下 BOOTPROTO=static ONBOOT=yes IPADDR=1
阅读全文
摘要：linux 01 1 2 3 4 5 真实机中安装CentOS(一) 真实机中安装CentOS(二) 虚拟机VirtualBox安装CentOS7，自动分配ip VirtualBox中复制多个服务器并配置不同的ip Ubuntu入门 CentOS_Server with GUI入门 VirtualB
阅读全文
摘要：先确认hadoop是否启动成功，将hive的压缩包上传到服务器的/home/software目录下 # 修改权限 chmod 755 apache-hive-3.1.2-bin.tar.gz # 解压 tar -zxvf apache-hive-3.1.2-bin.tar.gz 全局配置 vim /
阅读全文
摘要：将压缩包上传到服务器 # 上传到/home/software路径 # 设置权限 chmod 755 hadoop-3.2.1.tar.gz # 解压 tar -zxvf hadoop-3.2.1.tar.gz # 配置 vim /etc/profile export HADOOP_HOME=/hom
阅读全文