随笔 - 321  文章 - 0  评论 - 6  阅读 - 34万

随笔分类 -  原创

1 2 下一页
hive构造随机整数和随机字符串
摘要:随机字符串: SUBSTRING(MD5(RAND()),1,5) 随机字符串+拼接: concat(SUBSTRING(MD5(RAND()),1,5),"_xiaowang") 随机整数: 两位整数:rand() * 100 三位整数:rand() * 1000 阅读全文
posted @ 2022-03-17 14:08 该用户很懒 阅读(2746) 评论(0) 推荐(0) 编辑
idea导入maven项目
摘要:选择pom文件 一路往下,最后finish。 此时会发现左侧project不显示src等目录,继续往下操作 点击右上角+加号 -》import Modules 选择项目。 一路next 此时目录也正常了,再reimport下pom文件,这时只要导入的工程正常编译打包的,那么此时也应该正常的 阅读全文
posted @ 2022-02-18 17:02 该用户很懒 阅读(421) 评论(0) 推荐(0) 编辑
windows下在pycharm中开发pyspark的环境配置
摘要:1、安装pyspark 2、下载想要的hadoop版本,解决 missing WINUTILS.EXE 的问题 下载地址:https://github.com/steveloughran/winutils 比如,我保存的本地地址在这 3、pyspark程序中指定系统变量 from pyspark i 阅读全文
posted @ 2022-02-05 15:28 该用户很懒 阅读(744) 评论(0) 推荐(1) 编辑
scheduler和timer的区别
摘要:from apscheduler.schedulers.blocking import BlockingSchedulerimport timefrom threading import Timerfrom datetime import datetimedef test1(who): print( 阅读全文
posted @ 2022-01-27 20:46 该用户很懒 阅读(314) 评论(0) 推荐(0) 编辑
scheduler报错maximum number of running instances reached的原因和解决办法
摘要:先看一个demo来复现下这个错误: from apscheduler.schedulers.blocking import BlockingScheduler import time from threading import Timer from datetime import datetime 阅读全文
posted @ 2022-01-27 19:56 该用户很懒 阅读(2864) 评论(0) 推荐(0) 编辑
windows下生成指定大小的测试文件fsutil
摘要:eg:在当前目录下生成1m(1024*1024)大小的文件 fsutil file createnew test.csv 1048576 ps:生成的是空文件,可以用来测试文件上传大小等 阅读全文
posted @ 2022-01-18 15:45 该用户很懒 阅读(155) 评论(0) 推荐(0) 编辑
python 正态分布scipy.stats norm
摘要:test_list=[26,33,65,28,34,55,25,44,50,36,26,37,43,62,35,38,45,32,28,34] test_value=10 avg=numpy.mean(test_list) stdd=numpy.std(test_list) print(stdd)# 阅读全文
posted @ 2021-12-14 19:27 该用户很懒 阅读(280) 评论(0) 推荐(0) 编辑
jmeter逻辑控制器
摘要:1、if controller expression中的填写:${__jexl3("${参数名}"=="success",)} 注意如果参数是字符串,需要额外加上双引号。如果是整型,等号左右两边都不用加 2、While Controller condition:${__javaScript("${参 阅读全文
posted @ 2021-12-02 13:50 该用户很懒 阅读(26) 评论(0) 推荐(0) 编辑
解决 Intellij IDEA Cannot Resolve Symbol ‘XXX’ 问题
摘要:1、检查pom文件是否少了依赖 2、确认pom文件没有问题后,file->maven->reimport 3、上述步骤都确认后,点击菜单中的 “File” -> “Invalidate Caches / Restart”,然后点击对话框中的 “Invalidate and Restart”,清空 c 阅读全文
posted @ 2021-10-18 20:26 该用户很懒 阅读(81) 评论(0) 推荐(0) 编辑
使用xmlhttprequest遇到CORS报错的处理
摘要:最近在html里用xmlhttprequest来获取远程文件内容,遇到了由于浏览器同源策略导致的CORS报错 查看response发现缺少cors响应头,在cors响应头没有被设置的情况下,默认值是同源策略。因此解决办法是需要服务端设置cors响应头,包括access-control-allow-o 阅读全文
posted @ 2021-09-28 11:22 该用户很懒 阅读(1042) 评论(0) 推荐(0) 编辑
关于python使用get_tld来解析域名带来的安全问题
摘要:假设我们本意是希望只接受部分域名的请求,对其他域名不作处理 举个例子:接受的域名是163.com 下面是个用正则和用get_tld的对比程序 from tld import get_tldimport reurl="http://baidu.com\mmmest.126.com"print(url) 阅读全文
posted @ 2021-07-29 20:30 该用户很懒 阅读(279) 评论(0) 推荐(0) 编辑
kafaka获取指定时间内的消息并写入指定文件
摘要:from confluent_kafka import Consumer, TopicPartition import time import datetime def str_to_timestamp(str_time, format_type='%Y-%m-%d %H:%M:%S'): time 阅读全文
posted @ 2021-07-12 14:54 该用户很懒 阅读(640) 评论(0) 推荐(0) 编辑
es集群状态正常,kibana报500的server error的处理办法
摘要:#Kibana使用Elasticsearch中的索引来存储已保存的搜索,可视化和仪表板#如果索引尚不存在,Kibana会创建一个新索引#默认.kibanakibana.index: ".kibana" 如果.kibana中的数据较少,且不在乎,可以直接删掉.kibana索引,让系统重新自动创建一个。 阅读全文
posted @ 2021-07-09 14:44 该用户很懒 阅读(1946) 评论(2) 推荐(0) 编辑
jmeter避开用beanshell写加密算法的方法
摘要:用jmeter压测的接口需要做sha256甜蜜认证,python版本的hmac加密算法写出来了,但是要转成java来做beanshell。 参考了各种网上文章等等都不行。 网上参考: 实际写了会报错的代码 报错信息: 2021-07-06 14:36:14,293 ERROR o.a.j.u.Bea 阅读全文
posted @ 2021-07-06 15:58 该用户很懒 阅读(169) 评论(0) 推荐(0) 编辑
kibana dashboard嵌入到web中的简单做法
摘要:dashboard页面点击shard 两种使用方式: 1、snapshot一般会同时打开short url来一起使用。测试效果是这样的: <!DOCTYPE html> <html> <style type="text/css"> html, body { margin: 0; padding 0; 阅读全文
posted @ 2021-06-28 19:57 该用户很懒 阅读(1748) 评论(0) 推荐(0) 编辑
metricbeat用于old gc time的监控小程序
摘要:import datetime import elasticsearch import pytz import requests import time today_tmp = datetime.datetime.today() today_final = str(today_tmp).replac 阅读全文
posted @ 2021-06-28 11:37 该用户很懒 阅读(69) 评论(0) 推荐(0) 编辑
es发送的数据在kibana上discover不显示,但是可以query到
摘要:最近在做一个日志解析的项目,遇到一个问题,数据发送到es,返回成功。但是kibana上discover不显示,时间范围调整到一个月内也搜索不到,devtool上query可以查到。 F12查看discover里的传参,发现有时间范围以及时区的参数。怀疑跟时区有关,既然刚刚尝试了提前一个月无效,那就延 阅读全文
posted @ 2021-06-28 11:20 该用户很懒 阅读(2414) 评论(0) 推荐(0) 编辑
hive cli转hive beeline的几个例子
摘要:#COMMAND="hive -i settings/load-${SCHEMA_TYPE}.sql -f ddl-tpch/bin_${SCHEMA_TYPE}/${t}.sql \ # -d DB=${DATABASE} \ # -d SOURCE=tpch_text_${SCALE} -d B 阅读全文
posted @ 2021-06-10 11:24 该用户很懒 阅读(107) 评论(0) 推荐(0) 编辑

1 2 下一页
< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

点击右上角即可分享
微信分享提示