2024 年 1月随笔档案 - DogLeftover

编写思维导图

摘要：jsMind编写思维导图代码案例使用文档案例1 <html> <head> <!-- <link type="text/css" rel="stylesheet" href="https://unpkg.com/jsmind@0.8.1/style/jsmind.css" /> <script 阅读全文

posted @ 2024-01-30 20:30 DogLeftover 阅读(39) 评论(0) 推荐(0) 编辑

python学习笔记

摘要：基础 01 1 2 3 4 5 python开发环境 pycharm基础使用字面量、注释、变量、数据类型、数据类型转换标识符、运算符字符串数据输入布尔类型、比较运算符 if语句 while循环语句 for循环函数列表元组字符串容器序列、切片集合字典数据容器多返回值、多种参阅读全文

posted @ 2024-01-21 09:55 DogLeftover 阅读(27) 评论(0) 推荐(0) 编辑

工具包使用2

摘要：pycharm的\OneMake30\auto_create_hive_table\cn\itcast\utils目录中编辑OracleMetaUtil.py #!/usr/bin/env python # @desc : todo 查询oracle一张表的元数据信息，封装为TableMeta对象阅读全文

posted @ 2024-01-20 09:23 DogLeftover 阅读(5) 评论(0) 推荐(0) 编辑

工具包使用

摘要：服务器安装oracle client，下载地址 # 查看oracle版本为11.2 select * from v$version 下载rpm包，上传到服务器/home/software/oracle目录 oracle-instantclient11.2-basic-11.2.0.4.0-1.x86 阅读全文

posted @ 2024-01-19 20:54 DogLeftover 阅读(11) 评论(0) 推荐(0) 编辑

hadoop常见问题

摘要：报错1：进入sqoop容器，执行脚本时报错 [root@15b0369d3f2a one_make]# ssh full_import_tables.sh ssh: Could not resolve hostname full_import_tables.sh: Name or service n 阅读全文

posted @ 2024-01-18 23:36 DogLeftover 阅读(27) 评论(0) 推荐(0) 编辑

hbase基本使用

摘要：docker安装hbase # 下载镜像 docker pull harisekhon/hbase # 启动 docker run -d --name myhbase -p 2181:2181 -p 8080:8080 -p 8085:8085 -p 9090:9090 -p 9095:9095 - 阅读全文

posted @ 2024-01-18 15:46 DogLeftover 阅读(9) 评论(0) 推荐(0) 编辑

构建ods层，使用脚本将数据导出到hdfs

摘要：启动容器 docker start oracle docker start hadoop docker start hive docker start sqoop 进入容器 docker exec -it sqoop bash cd /opt/sqoop/one_make [root@15b0369 阅读全文

posted @ 2024-01-18 11:08 DogLeftover 阅读(22) 评论(0) 推荐(0) 编辑

脚本开发思路

摘要：启动容器 docker start oracle docker start hadoop docker start hive docker start sqoop 要采集的表 # 进入容器 docker exec -it sqoop bash # 创建测试目录 mkdir -p /opt/datas 阅读全文

posted @ 2024-01-18 08:49 DogLeftover 阅读(10) 评论(0) 推荐(0) 编辑

常用命令

摘要：dos命令 # 清空屏幕 cls # 查看ip ipconfig # 测试网络 ping xxx # 控制面板\程序\程序和功能\启动或关闭Windows功能\Telnet Client # 测试：打开cmd，输入telnet # 退出：quit # 测试端口 C:\Users\ychen>teln 阅读全文

posted @ 2024-01-17 19:17 DogLeftover 阅读(20) 评论(0) 推荐(0) 编辑

datagrip连接redis

摘要：安装插件连接redis 查看值执行命令阅读全文

posted @ 2024-01-17 14:05 DogLeftover 阅读(398) 评论(0) 推荐(0) 编辑

python操作redis

摘要：使用docker安装部署 [root@node1 ~]# docker pull redis:6.2.10 6.2.10: Pulling from library/redis bb263680fed1: Pull complete ac509f65c3e9: Pull complete 51afc 阅读全文

posted @ 2024-01-17 09:21 DogLeftover 阅读(6) 评论(0) 推荐(0) 编辑

sqoop导入oracle数据到hive

摘要：sqoop导出数据到hdfs 启动sqoop容器，进入该容器，直接执行如下 [root@node1 ~]# docker start sqoop [root@node1 ~]# docker exec -it sqoop bash [root@15b0369d3f2a /]# sqoop impor 阅读全文

posted @ 2024-01-16 10:40 DogLeftover 阅读(241) 评论(0) 推荐(0) 编辑

datagrip连接hive

摘要：下载依赖到本地服务器启动hadoop和hive 连接hive 导入驱动并测试连接查看表中数据阅读全文

posted @ 2024-01-15 22:47 DogLeftover 阅读(48) 评论(0) 推荐(0) 编辑

环境使用(onemake)

摘要：oracle # 启动 docker start oracle # 进入 docker exec -it oracle bash #进入客户端命令行：/nolog表示只打开，不登录，不用输入用户名和密码 sqlplus /nolog #登陆连接服务端：/ as sysdba表示使用系统用户登录 co 阅读全文

posted @ 2024-01-15 12:38 DogLeftover 阅读(9) 评论(0) 推荐(0) 编辑

DolphinScheduler安装

摘要：在完成数据仓库的设计和构建之后，开始进入数据仓库的正常运行。数仓项目的正常运行离不开任务调度，DolphinScheduler任务调度贯穿整个项目 Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系阅读全文

posted @ 2024-01-14 15:11 DogLeftover 阅读(72) 评论(0) 推荐(0) 编辑

datax导出数据到mysql报错：配置信息错误. 您提供的配置信息不是合法的JSON格式

摘要：错误描述 # datax/job目录下编写json文件，用于将hive表中数据同步到mysql，执行json报错如下 [root@slave1 datax]# python bin/datax.py -p"-Dexportdir=/warehouse/edu/ads/ads_user_user_ch 阅读全文

posted @ 2024-01-13 21:36 DogLeftover 阅读(353) 评论(0) 推荐(0) 编辑

hadoop常见问题

摘要：错误描述 # 启动hadoop集群后DataNode不显示 # 执行命令 hdfs dfs -ls -R / 不起作用解决方案 # 先重启并格式化 hdfs namenode -format # 如果不起作用 # 删除data目录并新建 cd /opt/software/hadoop-2.9.2/ 阅读全文

posted @ 2024-01-13 21:35 DogLeftover 阅读(86) 评论(0) 推荐(0) 编辑

DataX导出ADS层数据

摘要：在完成数据仓库的ODS层，DIM层，DWD层，DWS层，ADS层设计和构建之后，为方便业务报表层使用数据，需将ADS层各指标的统计结果同步到MySQL数据库中，这里我们使用DataX工具进行数据同步。DataX在整体的数据仓库中处于数仓与报表层的中间位置 DataX介绍 DataX 是阿里巴巴开源的阅读全文

posted @ 2024-01-13 15:02 DogLeftover 阅读(25) 评论(0) 推荐(0) 编辑

可视化Superset

摘要：安装依赖 sudo yum install -y gcc gcc-c++ libffi-devel python-devel python-pip python-wheel python-setuptools openssl-devel cyrus-sasl-devel openldap-devel 阅读全文

posted @ 2024-01-12 11:39 DogLeftover 阅读(44) 评论(0) 推荐(0) 编辑

分析

摘要：案例1 import akshare as ak import pandas as pd import numpy as np import os """ 获取A股所有股票的代码使用stock_info_a_code_name(),反馈数据格式详细参见akshare官网 """ StockList 阅读全文

posted @ 2024-01-12 10:04 DogLeftover 阅读(202) 评论(0) 推荐(0) 编辑

安装Miniconda

摘要：登录centos # 下载 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh # 安装 bash Miniconda3-latest-Linux-x86_64.sh # 一路enter # 同意 Do 阅读全文

posted @ 2024-01-11 16:44 DogLeftover 阅读(725) 评论(0) 推荐(0) 编辑

可视化Echarts

摘要：案例1 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> <script src="./utils/echarts.min.js"></script> </head> <body> 阅读全文

posted @ 2024-01-11 16:43 DogLeftover 阅读(5) 评论(0) 推荐(0) 编辑

python操作echarts

摘要：案例1 import pyecharts pyecharts.__version__ import pandas as pd from pyecharts.charts import Map from pyecharts.charts import Bar from pyecharts.charts 阅读全文

posted @ 2024-01-11 15:33 DogLeftover 阅读(28) 评论(0) 推荐(0) 编辑

python操作mongodb（二）

摘要：案例1 import pymongo #pip install pymongo安装python操作mongodb的模块 myclient=pymongo.MongoClient('mongodb://root:root@192.168.128.100:27017/') #指定主机和端口号创建客户端阅读全文

posted @ 2024-01-11 15:32 DogLeftover 阅读(19) 评论(0) 推荐(0) 编辑

python操作mongodb（一）

摘要：案例1 import pymongo # 1、连接对象 conn = pymongo.MongoClient('mongodb://root:root@192.168.128.100:27017/') # 2、库对象 db = conn['niit'] # 3、集合对象 myset = db['st 阅读全文

posted @ 2024-01-11 15:12 DogLeftover 阅读(19) 评论(0) 推荐(0) 编辑

linux安装mongodb

摘要：查看详情 onemake配置网路 # 配置网卡 cd /etc/sysconfig/network-scripts/ vi ifcfg-ens33 # 修改为如下 BOOTPROTO=static ONBOOT=yes IPADDR=192.168.128.100 NETMASK=255.255.2 阅读全文

posted @ 2024-01-10 17:16 DogLeftover 阅读(32) 评论(0) 推荐(0) 编辑

爬取数据

摘要：谷歌浏览器安装xpath插件更多 -> 扩展程序 -> 管理扩展程序 -> 开发者模式 -> 加载已解压的扩展程序谷歌浏览器任意打开1个网页，F12打开开发者工具，右键右侧a标签区域 -> copy -> copy xpath 复制到左上角黑框案例1 import pprint import 阅读全文

posted @ 2024-01-10 14:55 DogLeftover 阅读(10) 评论(0) 推荐(0) 编辑

装载数据时报错：Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'

摘要：错误1 hive (edu)> insert into huanhuan values(1,'haoge'); Query ID = root_20240110071417_fe1517ad-3607-41f4-bdcf-d00b98ac443e Total jobs = 1 Launching J 阅读全文

posted @ 2024-01-09 23:56 DogLeftover 阅读(442) 评论(0) 推荐(0) 编辑

随机森林模型

摘要：案例1 # 导入需要的库 import pandas as pd import numpy as np import seaborn as sns import matplotlib.pyplot as plt from sklearn.preprocessing import StandardSc 阅读全文

posted @ 2024-01-09 22:48 DogLeftover 阅读(37) 评论(0) 推荐(0) 编辑

混淆矩阵分类报告

摘要：案例1 import numpy as np import matplotlib.pyplot as mp import sklearn.naive_bayes as nb import sklearn.model_selection as ms import sklearn.metrics as 阅读全文

posted @ 2024-01-09 22:44 DogLeftover 阅读(8) 评论(0) 推荐(0) 编辑

交叉验证-准确率

摘要：查看案例1 import numpy as np import matplotlib.pyplot as mp import sklearn.naive_bayes as nb import sklearn.model_selection as ms # 整理样本 data = np.loadtx 阅读全文

posted @ 2024-01-09 22:27 DogLeftover 阅读(22) 评论(0) 推荐(0) 编辑

预测共享单车使用量

摘要：查看案例1 import numpy as np import matplotlib.pyplot as mp import sklearn.ensemble as se import sklearn.metrics as sm import sklearn.utils as su data = 阅读全文

posted @ 2024-01-09 22:20 DogLeftover 阅读(14) 评论(0) 推荐(0) 编辑

决策树波士顿地区房屋价格

摘要：案例1 import numpy as np import sklearn.datasets as sd import sklearn.tree as st import sklearn.utils as su # 加载数据 boston = sd.load_boston() print(bosto 阅读全文

posted @ 2024-01-09 21:32 DogLeftover 阅读(19) 评论(0) 推荐(0) 编辑

DecisionTree模型

摘要：连接远程Anaconda3 查看案例1 import findspark findspark.init() ############################################## from pyspark.sql import SparkSession from pyspar 阅读全文

posted @ 2024-01-09 21:27 DogLeftover 阅读(2) 评论(0) 推荐(0) 编辑

肘部法则确认最佳聚类数

摘要：案例1 import matplotlib.pyplot as plt import numpy as np from sklearn import datasets from sklearn.metrics import silhouette_score from sklearn.cluster 阅读全文

posted @ 2024-01-09 19:49 DogLeftover 阅读(69) 评论(0) 推荐(0) 编辑

seaborn基本使用(二)

摘要：客户贷款风险评估数据预处理 # 因为需要进行聚类，所以需要对数据进行初步处理，这里对数值型数据，进行标准化，对分类变量处理为有序变量。 # 选择特征把文本类型转化为数值类型方便计算比较数据预处理 features = ['Age', 'Sex', 'Job', 'Housing', 'Sav 阅读全文

posted @ 2024-01-08 16:04 DogLeftover 阅读(10) 评论(0) 推荐(0) 编辑

聚类算法(二)

摘要：查看案例1 import sklearn.cluster as sc import numpy as np import matplotlib.pyplot as mp import sklearn.metrics as sm # 读取样本 x = np.loadtxt('.\perf.txt', 阅读全文

posted @ 2024-01-08 15:44 DogLeftover 阅读(5) 评论(0) 推荐(0) 编辑

聚类算法(一)

摘要：查看案例1 import sklearn.cluster as sc import numpy as np import matplotlib.pyplot as mp # 一维数据划分成3类找点三维四维一样的画法。 # 分类（class）与聚类（cluster）不同（物以类聚），分类是阅读全文

posted @ 2024-01-08 15:36 DogLeftover 阅读(4) 评论(0) 推荐(0) 编辑

seaborn基本使用(一)

摘要：查看案例1 import pandas as pd import numpy as np import seaborn as sns import matplotlib.pyplot as plt from sklearn.preprocessing import StandardScaler d 阅读全文

posted @ 2024-01-08 15:20 DogLeftover 阅读(28) 评论(0) 推荐(0) 编辑

Vega-Lite使用

摘要：用法链接新建html文件，复制如下 <!doctype html> <html> <head> <title>Embedding Vega-Lite</title> <script src="https://cdn.jsdelivr.net/npm/vega@5.25.0"></script> 阅读全文

posted @ 2024-01-07 11:52 DogLeftover 阅读(137) 评论(0) 推荐(0) 编辑

右下角工具箱完善

摘要：公告栏参考页面定制CSS代码 .d4{ position: fixed; bottom: 90px; right: 15px; border-radius: 8px; width:22px; height:22px; } .dialog{ background-color:white; posi 阅读全文

posted @ 2024-01-01 18:46 DogLeftover 阅读(4) 评论(0) 推荐(0) 编辑

右下角工具箱

摘要：展开隐藏，参考1，参考2 页面定制CSS代码 .d1{ position: fixed; bottom: 10px; right: 15px; border-radius: 8px; width:22px; height:22px; } 页首HTML代码 <div class='d1' id='di 阅读全文

posted @ 2024-01-01 09:30 DogLeftover 阅读(3) 评论(0) 推荐(0) 编辑

01 2024 档案