01 2020 档案

hdfs显示、查看、下载、上传、删除文件操作
摘要:linux环境 假设hdfs安装路径(例如是): /usr/hdp/hadoop/bin/hdfs 1. -ls 列出当前目录下的文件、文件夹 /usr/hdp/hadoop/bin/hdfs dfs -ls /apps/hive/warehouse/my_home 2. 查看文件,例如hive表的 阅读全文

posted @ 2020-01-18 19:56 落日峡谷 阅读(4021) 评论(0) 推荐(0) 编辑

pip备份、安装requirements.txt中的包和anaconda的安装(linux)
摘要:1. 从已有的环境中,备份已经安装的package pip freeze > requirements.txt 2. pip安装requirements.txt的包(换源之后下载更快) pip install -r requirements.txt -i https://pypi.tuna.tsin 阅读全文

posted @ 2020-01-18 19:37 落日峡谷 阅读(3482) 评论(0) 推荐(0) 编辑

spark-submit提交任务到集群,分发虚拟环境和第三方包
摘要:spark-submit提交任务的参数很多: Usage: spark-submit [options] <app jar | python file> [app arguments] Usage: spark-submit --kill [submission ID] --master [spar 阅读全文

posted @ 2020-01-15 22:44 落日峡谷 阅读(4825) 评论(2) 推荐(0) 编辑

mysql的distinct,count,in 和 offset 使用
摘要:1. distinct:去重 # distinct select distinct name_adress from my_test_copy; # 得到去重字段 select count(distinct name_adress) as distinct_rows from my_test_cop 阅读全文

posted @ 2020-01-15 21:18 落日峡谷 阅读(756) 评论(0) 推荐(0) 编辑

mysql基础使用—— 判断空值,查询建表,[Err] 1055 以及随机取出记录
摘要:1. 判断是否是空值 is not null 和 is null select * from XXX where column_name is not null; select * from XXX where column_1 is not null and column_2 is not nul 阅读全文

posted @ 2020-01-15 21:00 落日峡谷 阅读(264) 评论(0) 推荐(0) 编辑

Every derived table must have its own alias
摘要:在mysql中,多个表查询出现错误:Every derived table must have its own alias 原因:中间表或者select产生的表,没有使用别名。 解决方法: 新产生的表加入别名: 例如: select * from select id, content from XX 阅读全文

posted @ 2020-01-15 20:36 落日峡谷 阅读(1410) 评论(0) 推荐(0) 编辑

[Err] 1060 - Duplicate column name 'XXX'
摘要:在mysql中,多个表联合查询时,出现错误:[Err] 1060 - Duplicate column name 'XXX' 原因: 使用的是:select * 操作,造成了列名重复,例如a表里面有列名'content',b表里面也有列名'content',此时就会报错。 解决方法: 直接指定想要返 阅读全文

posted @ 2020-01-15 20:29 落日峡谷 阅读(8707) 评论(0) 推荐(0) 编辑

[Err] 1052 - Column 'XXXXX' in field list is ambiguous
摘要:在mysql中,多个表关联查询时,出现错误:[Err] 1052 - Column 'school_province' in field list is ambiguous 原因: select 的字段中有相同的列名 'XXXXX',但是却没有指定这个列名时来自那哪一个表,于是冲突。 解决方法: 给 阅读全文

posted @ 2020-01-15 20:09 落日峡谷 阅读(4991) 评论(1) 推荐(1) 编辑

[Err] [Row1] [Imp] 1062 - Duplicate entry '1' for key 'PRIMARY'
摘要:在navicat中导入*.xls数据时,出现错误:[Err] [Row1] [Imp] 1062 - Duplicate entry '1' for key 'PRIMARY' 原因: 因为我创建原始表的时候,设置了primary key为 id,并且自增。但是我的要导入的excel表里面也有一列时 阅读全文

posted @ 2020-01-15 19:54 落日峡谷 阅读(3653) 评论(0) 推荐(0) 编辑

python计算前一天、前一小时、前一分钟、前一秒的时间
摘要:python可以用于计算相对于某一个时间/日期的前一段时间或者后一段时间的时间格式数据。 主要用到 datetime 和 timedelta 模块。 from datetime import datetime, timedelta 1. 计算前一天 # 前一天 date_1 = datetime.n 阅读全文

posted @ 2020-01-09 22:31 落日峡谷 阅读(7206) 评论(0) 推荐(0) 编辑

python对于相同值的内存管理
摘要:python中,对于相同值的数据,地址是否一致?? 大概来说: 1. 对于整数、短字符串等值,在内存中只会有一份,也就是地址一致。 2. 对于元组、字典、列表、集合以及range、map等容器类对象,这些的类型的数据值即使看起来一样,内存地址也是不一样的。 3. 在同一个列表或者元组中,很大的整数在 阅读全文

posted @ 2020-01-09 21:58 落日峡谷 阅读(728) 评论(0) 推荐(0) 编辑

python的in,is和id函数
摘要:1. in 和 not in —— 判断某个序列中是否存在某值 # in aa = [1,2,3,'Cathy','太平洋'] if '大西洋' in aa: print('yes') else: print('no') # no # not in if '大西洋' not in aa: print 阅读全文

posted @ 2020-01-09 19:59 落日峡谷 阅读(2896) 评论(0) 推荐(1) 编辑

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

统计

点击右上角即可分享
微信分享提示