摘要: 将python的datetime转换为unix时间戳 import time import datetime dtime = datetime.datetime.now() ans_time = time.mktime(dtime.timetuple()) 将unix时间戳转换为python的dat 阅读全文
posted @ 2020-10-23 17:39 muyue123 阅读(1102) 评论(0) 推荐(0) 编辑
摘要: spark = SparkSession.builder. \ appName("wk_stg_10650018_cs"). \ enableHiveSupport(). \ config("spark.debug.maxToStringFields", "100"). \ getOrCreate( 阅读全文
posted @ 2020-10-23 16:51 muyue123 阅读(334) 评论(0) 推荐(0) 编辑
摘要: 导入的CSV文件没有字段名称时: cat csv文件路径 | clickhouse-client --query="INSERT INTO 数据库.表名 FORMAT CSV" 导入的CSV文件有字段名称时: cat csv文件路径 | clickhouse-client --query="INSE 阅读全文
posted @ 2020-10-13 20:23 muyue123 阅读(238) 评论(0) 推荐(0) 编辑
摘要: SELECT now() ┌───────────────now()─┐│ 2020-10-10 02:27:03 │└─────────────────────┘ SELECT today() ┌────today()─┐│ 2020-10-10 │└────────────┘ 阅读全文
posted @ 2020-10-10 10:29 muyue123 阅读(56) 评论(0) 推荐(0) 编辑
摘要: select cast(conv('1FFC',16,10) as int) & cast(conv('1FFC',16,10) as int) 进制转换函数 : conv 语法: conv(BIGINT num, int from_base, int to_base)返回值: string说明: 阅读全文
posted @ 2020-10-09 18:36 muyue123 阅读(130) 评论(0) 推荐(0) 编辑
摘要: select regexp_replace(lg,'\\n|\\r|\\t|\\s+','') from spd_trancare_mid.mapping_lg_desc 阅读全文
posted @ 2020-09-25 16:40 muyue123 阅读(467) 评论(0) 推荐(0) 编辑
摘要: 20200915:利用远程mysql创建表时出现报错。 CREATE TABLE test.test_perm ENGINE = MergeTree() ORDER BY app_id AS SELECT * FROM mysql('10.32.0.103:3306', 'test', 'test_ 阅读全文
posted @ 2020-09-15 11:23 muyue123 阅读(233) 评论(0) 推荐(0) 编辑
摘要: MYSQL select * from mysql('10.32.0.103:3306','test','t1','trancare','trancare'); 从MYSQL创建表 create table test.t2 ENGINE=TinyLog() as select * from mysq 阅读全文
posted @ 2020-09-14 20:24 muyue123 阅读(67) 评论(0) 推荐(0) 编辑
摘要: from pyspark.sql import SparkSession from pyspark.conf import SparkConf from pyspark.sql import SQLContext conf = SparkConf().setAppName('数据总览') spark 阅读全文
posted @ 2020-09-10 17:08 muyue123 阅读(119) 评论(0) 推荐(0) 编辑
摘要: print(spark.sql('set -v').collect()) 阅读全文
posted @ 2020-09-02 14:52 muyue123 阅读(112) 评论(0) 推荐(0) 编辑