2024年7月9日
彼岸图网，批量下载图片
摘要： 1 import requests 2 import time 3 from lxml import etree 4 import os 5 6 headers = { 7 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWe 阅读全文
posted @ 2024-07-09 13:44 尘尘尘尘 阅读(11) 评论(0) 推荐(0) 编辑
数据仓库、数据库与数据湖的区别
摘要： 数据库（OLTP）与数据仓库（OLAP）的区别： 1、数据库是面向事务设计的；数据仓库是面向主题设计的2、数据库一般存储的是在线交易数据，有很高的事务要求；数据仓库存的是历史数据3、数据库设计采用范式设计，尽量避免冗余；数据仓库采用反范式设计，有意引入冗余数据库三大范式（一、列的原子性：列不可再分； 阅读全文
posted @ 2024-07-09 13:41 尘尘尘尘 阅读(1) 评论(0) 推荐(0) 编辑
Pyodps2节点连接linux服务器（paramiko 检查文件是否存在）
摘要： 在maxcomputer加入paramiko相关资源包 1 #!/usr/bin/python 2 # -*- coding: UTF-8 -*- 3 4 ##@resource_reference{"six.zip"} 5 ##@resource_reference{"PyNaCl-1.4.0.z 阅读全文
posted @ 2024-07-09 13:34 尘尘尘尘 阅读(1) 评论(0) 推荐(0) 编辑
2022年8月25日
Oracle SQL优化
摘要： 1、选择最有效的表名顺序例： /*高效的SQL*/ SELECT * FROM LOCATION L, CATEGORY C, EMP E WHERE E.EMP_NO BETWEEN 1000 AND 2000 AND E.CAT_NO = C.CAT_NO AND E.LOCN = L.LOCN 阅读全文
posted @ 2022-08-25 15:31 尘尘尘尘 阅读(420) 评论(0) 推荐(0) 编辑
HIVE 数据导出成 csv 格式
摘要： 1、hive数据导出到hdfs insert overwrite directory 'hivehouse' row format delimited fields terminated by '|' select * from table_name; 2、hdfs 数据导出到本地 hdfs dfs 阅读全文
posted @ 2022-08-25 15:28 尘尘尘尘 阅读(1259) 评论(0) 推荐(0) 编辑
数据导入导出
摘要： 1、HIVE数据导入到mysql （1） shell脚本 连接数据库 创建对应表信息 mysql -hIP地址 -u用户名 -p密码 数据库 -P16063 -e"执行sql脚本" （2） 通过sqoop 导出数据到mysql sqoop export -Dmapred.job.queue.name 阅读全文
posted @ 2022-08-25 15:24 尘尘尘尘 阅读(147) 评论(0) 推荐(0) 编辑
HIVE数据倾斜解决办法
摘要： 在map和reduce两个阶段中，最容易出现数据倾斜的阶段是 reduce 阶段因为从map 到 reduce 会经过shuffle阶段 ，shuffle 默认按照key 进行hash如果相同的key太多 ，那么hash的结果 大量相同的key就会进入同一个reduce 导致数据倾斜当然map阶段 阅读全文
posted @ 2022-08-25 15:14 尘尘尘尘 阅读(345) 评论(0) 推荐(0) 编辑
2019年5月10日
关于HTTP、GET和POST区别总结
摘要： HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写，是用于从万维网 服务器传输超文本到本地浏览器的传输协议 HTTP是基于TCP/IP的关于数据如何在万维网中如何通讯的协议 HTTP的底层是TCP/IP。所以GET和POST也是如此，也就是说GET和POS 阅读全文
posted @ 2019-05-10 13:13 尘尘尘尘 阅读(132) 评论(0) 推荐(0) 编辑
2018年2月11日
python基础 列表 的用法及介绍
摘要： 列表 首先定义一个列表 声明列表 列表名字=[值1，值2] list=[1,2,3,4,5] 这是一个列表，列表中有五个元素（1,2,3,4,5） 显示list列表 print list 输出 ——[1,2,3,4,5] 列表的下标是从0开始的 下标=列表的长度-1 print list[1:3] 阅读全文
posted @ 2018-02-11 18:45 尘尘尘尘 阅读(96) 评论(0) 推荐(0) 编辑
python基础 列表 的使用
摘要： 列表 首先定义一个列表 声明列表 列表名字=[值1，值2] list=[1,2,3,4,5] 这是一个列表，列表中有五个元素（1,2,3,4,5） 显示list列表 print list 输出 ——[1,2,3,4,5] 列表的下标是从0开始的 下标=列表的长度-1 print list[1:3] 阅读全文
posted @ 2018-02-11 18:44 尘尘尘尘 阅读(72) 评论(0) 推荐(0) 编辑