展开
拓展 关闭
订阅号推广码
GitHub
视频
公告栏 关闭
上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 35 下一页
摘要: 使用docker安装部署 [root@node1 ~]# docker pull redis:6.2.10 6.2.10: Pulling from library/redis bb263680fed1: Pull complete ac509f65c3e9: Pull complete 51afc 阅读全文
posted @ 2024-01-17 09:21 DogLeftover 阅读(6) 评论(0) 推荐(0) 编辑
摘要: sqoop导出数据到hdfs 启动sqoop容器,进入该容器,直接执行如下 [root@node1 ~]# docker start sqoop [root@node1 ~]# docker exec -it sqoop bash [root@15b0369d3f2a /]# sqoop impor 阅读全文
posted @ 2024-01-16 10:40 DogLeftover 阅读(241) 评论(0) 推荐(0) 编辑
摘要: 下载依赖到本地 服务器启动hadoop和hive 连接hive 导入驱动并测试连接 查看表中数据 阅读全文
posted @ 2024-01-15 22:47 DogLeftover 阅读(48) 评论(0) 推荐(0) 编辑
摘要: oracle # 启动 docker start oracle # 进入 docker exec -it oracle bash #进入客户端命令行:/nolog表示只打开,不登录,不用输入用户名和密码 sqlplus /nolog #登陆连接服务端:/ as sysdba表示使用系统用户登录 co 阅读全文
posted @ 2024-01-15 12:38 DogLeftover 阅读(9) 评论(0) 推荐(0) 编辑
摘要: 在完成数据仓库的设计和构建之后,开始进入数据仓库的正常运行。数仓项目的正常运行离不开任务调度,DolphinScheduler任务调度贯穿整个项目 Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系 阅读全文
posted @ 2024-01-14 15:11 DogLeftover 阅读(72) 评论(0) 推荐(0) 编辑
摘要: 错误描述 # datax/job目录下编写json文件,用于将hive表中数据同步到mysql,执行json报错如下 [root@slave1 datax]# python bin/datax.py -p"-Dexportdir=/warehouse/edu/ads/ads_user_user_ch 阅读全文
posted @ 2024-01-13 21:36 DogLeftover 阅读(353) 评论(0) 推荐(0) 编辑
摘要: 错误描述 # 启动hadoop集群后DataNode不显示 # 执行命令 hdfs dfs -ls -R / 不起作用 解决方案 # 先重启并格式化 hdfs namenode -format # 如果不起作用 # 删除data目录并新建 cd /opt/software/hadoop-2.9.2/ 阅读全文
posted @ 2024-01-13 21:35 DogLeftover 阅读(86) 评论(0) 推荐(0) 编辑
摘要: 在完成数据仓库的ODS层,DIM层,DWD层,DWS层,ADS层设计和构建之后,为方便业务报表层使用数据,需将ADS层各指标的统计结果同步到MySQL数据库中,这里我们使用DataX工具进行数据同步。DataX在整体的数据仓库中处于数仓与报表层的中间位置 DataX介绍 DataX 是阿里巴巴开源的 阅读全文
posted @ 2024-01-13 15:02 DogLeftover 阅读(25) 评论(0) 推荐(0) 编辑
摘要: 安装依赖 sudo yum install -y gcc gcc-c++ libffi-devel python-devel python-pip python-wheel python-setuptools openssl-devel cyrus-sasl-devel openldap-devel 阅读全文
posted @ 2024-01-12 11:39 DogLeftover 阅读(44) 评论(0) 推荐(0) 编辑
摘要: 案例1 import akshare as ak import pandas as pd import numpy as np import os """ 获取A股所有股票的代码 使用stock_info_a_code_name(),反馈数据格式详细参见akshare官网 """ StockList 阅读全文
posted @ 2024-01-12 10:04 DogLeftover 阅读(202) 评论(0) 推荐(0) 编辑
摘要: 登录centos # 下载 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh # 安装 bash Miniconda3-latest-Linux-x86_64.sh # 一路enter # 同意 Do 阅读全文
posted @ 2024-01-11 16:44 DogLeftover 阅读(725) 评论(0) 推荐(0) 编辑
摘要: 案例1 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> <script src="./utils/echarts.min.js"></script> </head> <body> 阅读全文
posted @ 2024-01-11 16:43 DogLeftover 阅读(5) 评论(0) 推荐(0) 编辑
摘要: 案例1 import pyecharts pyecharts.__version__ import pandas as pd from pyecharts.charts import Map from pyecharts.charts import Bar from pyecharts.charts 阅读全文
posted @ 2024-01-11 15:33 DogLeftover 阅读(28) 评论(0) 推荐(0) 编辑
摘要: 案例1 import pymongo #pip install pymongo安装python操作mongodb的模块 myclient=pymongo.MongoClient('mongodb://root:root@192.168.128.100:27017/') #指定主机和端口号创建客户端 阅读全文
posted @ 2024-01-11 15:32 DogLeftover 阅读(19) 评论(0) 推荐(0) 编辑
摘要: 案例1 import pymongo # 1、连接对象 conn = pymongo.MongoClient('mongodb://root:root@192.168.128.100:27017/') # 2、库对象 db = conn['niit'] # 3、集合对象 myset = db['st 阅读全文
posted @ 2024-01-11 15:12 DogLeftover 阅读(19) 评论(0) 推荐(0) 编辑
摘要: 查看详情 onemake配置网路 # 配置网卡 cd /etc/sysconfig/network-scripts/ vi ifcfg-ens33 # 修改为如下 BOOTPROTO=static ONBOOT=yes IPADDR=192.168.128.100 NETMASK=255.255.2 阅读全文
posted @ 2024-01-10 17:16 DogLeftover 阅读(32) 评论(0) 推荐(0) 编辑
摘要: 谷歌浏览器安装xpath插件 更多 -> 扩展程序 -> 管理扩展程序 -> 开发者模式 -> 加载已解压的扩展程序 谷歌浏览器任意打开1个网页,F12打开开发者工具,右键右侧a标签区域 -> copy -> copy xpath 复制到左上角黑框 案例1 import pprint import 阅读全文
posted @ 2024-01-10 14:55 DogLeftover 阅读(10) 评论(0) 推荐(0) 编辑
摘要: 错误1 hive (edu)> insert into huanhuan values(1,'haoge'); Query ID = root_20240110071417_fe1517ad-3607-41f4-bdcf-d00b98ac443e Total jobs = 1 Launching J 阅读全文
posted @ 2024-01-09 23:56 DogLeftover 阅读(442) 评论(0) 推荐(0) 编辑
摘要: 案例1 # 导入需要的库 import pandas as pd import numpy as np import seaborn as sns import matplotlib.pyplot as plt from sklearn.preprocessing import StandardSc 阅读全文
posted @ 2024-01-09 22:48 DogLeftover 阅读(37) 评论(0) 推荐(0) 编辑
摘要: 案例1 import numpy as np import matplotlib.pyplot as mp import sklearn.naive_bayes as nb import sklearn.model_selection as ms import sklearn.metrics as 阅读全文
posted @ 2024-01-09 22:44 DogLeftover 阅读(8) 评论(0) 推荐(0) 编辑
摘要: 查看 案例1 import numpy as np import matplotlib.pyplot as mp import sklearn.naive_bayes as nb import sklearn.model_selection as ms # 整理样本 data = np.loadtx 阅读全文
posted @ 2024-01-09 22:27 DogLeftover 阅读(22) 评论(0) 推荐(0) 编辑
摘要: 查看 案例1 import numpy as np import matplotlib.pyplot as mp import sklearn.ensemble as se import sklearn.metrics as sm import sklearn.utils as su data = 阅读全文
posted @ 2024-01-09 22:20 DogLeftover 阅读(14) 评论(0) 推荐(0) 编辑
摘要: 案例1 import numpy as np import sklearn.datasets as sd import sklearn.tree as st import sklearn.utils as su # 加载数据 boston = sd.load_boston() print(bosto 阅读全文
posted @ 2024-01-09 21:32 DogLeftover 阅读(19) 评论(0) 推荐(0) 编辑
摘要: 连接远程Anaconda3 查看 案例1 import findspark findspark.init() ############################################## from pyspark.sql import SparkSession from pyspar 阅读全文
posted @ 2024-01-09 21:27 DogLeftover 阅读(2) 评论(0) 推荐(0) 编辑
摘要: 案例1 import matplotlib.pyplot as plt import numpy as np from sklearn import datasets from sklearn.metrics import silhouette_score from sklearn.cluster 阅读全文
posted @ 2024-01-09 19:49 DogLeftover 阅读(69) 评论(0) 推荐(0) 编辑
摘要: 客户贷款风险评估 数据预处理 # 因为需要进行聚类,所以需要对数据进行初步处理,这里对数值型数据,进行标准化,对分类变量处理为有序变量。 # 选择特征 把文本类型转化为数值类型 方便计算比较 数据预处理 features = ['Age', 'Sex', 'Job', 'Housing', 'Sav 阅读全文
posted @ 2024-01-08 16:04 DogLeftover 阅读(10) 评论(0) 推荐(0) 编辑
摘要: 查看 案例1 import sklearn.cluster as sc import numpy as np import matplotlib.pyplot as mp import sklearn.metrics as sm # 读取样本 x = np.loadtxt('.\perf.txt', 阅读全文
posted @ 2024-01-08 15:44 DogLeftover 阅读(5) 评论(0) 推荐(0) 编辑
摘要: 查看 案例1 import sklearn.cluster as sc import numpy as np import matplotlib.pyplot as mp # 一维数据 划分成3类 找点 三维 四维 一样的画法。 # 分类(class)与聚类(cluster)不同(物以类聚),分类是 阅读全文
posted @ 2024-01-08 15:36 DogLeftover 阅读(4) 评论(0) 推荐(0) 编辑
摘要: 查看 案例1 import pandas as pd import numpy as np import seaborn as sns import matplotlib.pyplot as plt from sklearn.preprocessing import StandardScaler d 阅读全文
posted @ 2024-01-08 15:20 DogLeftover 阅读(28) 评论(0) 推荐(0) 编辑
摘要: 用法 链接 新建html文件,复制如下 <!doctype html> <html> <head> <title>Embedding Vega-Lite</title> <script src="https://cdn.jsdelivr.net/npm/vega@5.25.0"></script> 阅读全文
posted @ 2024-01-07 11:52 DogLeftover 阅读(137) 评论(0) 推荐(0) 编辑
摘要: 公告栏 参考 页面定制CSS代码 .d4{ position: fixed; bottom: 90px; right: 15px; border-radius: 8px; width:22px; height:22px; } .dialog{ background-color:white; posi 阅读全文
posted @ 2024-01-01 18:46 DogLeftover 阅读(4) 评论(0) 推荐(0) 编辑
摘要: 展开隐藏,参考1,参考2 页面定制CSS代码 .d1{ position: fixed; bottom: 10px; right: 15px; border-radius: 8px; width:22px; height:22px; } 页首HTML代码 <div class='d1' id='di 阅读全文
posted @ 2024-01-01 09:30 DogLeftover 阅读(3) 评论(0) 推荐(0) 编辑
摘要: 参考0,参考1,参考2,参考3,参考4 编写轮播图 <!doctype html> <html> <head> <meta charset="utf-8"> <title>bulletin_board</title> <link rel="stylesheet" href="./bootstrap. 阅读全文
posted @ 2023-12-31 15:33 DogLeftover 阅读(1) 评论(0) 推荐(0) 编辑
摘要: 前言 参考 样式1 打开博客后台,页面定制CSS代码 /*生成博客目录的CSS*/ #uprightsideBar{ font-size:12px; font-family:Arial, Helvetica, sans-serif; text-align:left; position:fixed;/ 阅读全文
posted @ 2023-12-30 11:40 DogLeftover 阅读(9) 评论(0) 推荐(0) 编辑
摘要: 概述 光流是空间运动物体在观测成像平面上的像素运动的 "瞬时速度",根据各个像素点的速度矢量特征,可以对图像进行动态分析,例如目标跟踪。 亮度恒定:同一点随着时间的变化,其亮度不会发生改变。 小运动:随着时间的变化不会引起位置的剧烈变化,只有小运动情况下才能用前后帧之间单位位置变化引起的灰度变化去近 阅读全文
posted @ 2023-12-29 10:45 DogLeftover 阅读(18) 评论(0) 推荐(0) 编辑
摘要: 目录 参考 查看详情 toc.py import sys import os import time headline = ['#','##','###','####','#####','######'] lines_in_file = [] """生成目录列表中的某一项""" def creat_ 阅读全文
posted @ 2023-12-28 20:29 DogLeftover 阅读(111) 评论(0) 推荐(0) 编辑
摘要: 错误1 # 重写数据 hive (edu)> insert overwrite table dwd_trade_cart_add_inc > select data.id, > data.user_id, > data.course_id, > date_format(data.create_tim 阅读全文
posted @ 2023-12-28 14:27 DogLeftover 阅读(134) 评论(0) 推荐(0) 编辑
摘要: 配置 <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property> <property> <name>hive.server2.thrift.bind.host</name> <value>slav 阅读全文
posted @ 2023-12-26 19:01 DogLeftover 阅读(51) 评论(0) 推荐(0) 编辑
摘要: 报错1 hive> show databases; OK Failed with exception java.io.IOException:java.lang.RuntimeException: Error in configuring object Time taken: 0.474 secon 阅读全文
posted @ 2023-12-25 15:18 DogLeftover 阅读(86) 评论(0) 推荐(0) 编辑
摘要: 修改hadoop配置 vi /usr/local/software/hadoop-2.9.2/etc/hadoop/yarn-site.xml # 添加如下 <configuration> <property> <name>yarn.nodemanager.resource.memory-mb</n 阅读全文
posted @ 2023-12-21 16:24 DogLeftover 阅读(125) 评论(0) 推荐(0) 编辑
上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 35 下一页