摘要: 本地测试机器学习算子 一、配置认证环境(本环境是testhb测试环境,不同环境得配置不同的文件) 安装keberos 1、安装kerberos kinit -kt D:\ml\test\test001.keytab test001@DEVTEST.BONC 2、krb5.ini来自服务器上的krb5.conf,修改后缀名 阅读全文
posted @ 2021-11-16 14:46 Mr·Li程序员 阅读(72) 评论(0) 推荐(0) 编辑
摘要: 浮点数为什么不精确 很多人都知道,Java 中的浮点数并不精确,需要用 BigDecimal进行精确计算,但是,很少有人知道为什么浮点数不精确呢?不精确为什么还要用呢?本文就来展开分析一波; 我们知道,计算机的数字的存储和运算都是通过二进制进行的,对于,十进制整数转换为二进制整数采用"除2取余,逆序排列"法 具体做法是 阅读全文
posted @ 2021-11-15 15:06 Mr·Li程序员 阅读(816) 评论(0) 推荐(0) 编辑
摘要: 强化学习 --gym env.render()报错 import gym env = gym.make('CartPole-v0') env.reset() for _ in range(1000): env.render() env.step(env.action_space.sample()) # take a random action env 阅读全文
posted @ 2021-10-22 09:49 Mr·Li程序员 阅读(2207) 评论(0) 推荐(0) 编辑
摘要: sqprk集群上使用自定义udf函数,出现无法序列化的错误 在spark集群上,将读取到的csv文件生成的datafream,需要对其中一列进行转化,内置的udf函数已经不能满足需求 所以需要自定义一个udf,但是在使用的时候报错,如下 Exception in thread "main" org.apache.spark.SparkException: T 阅读全文
posted @ 2021-09-07 11:25 Mr·Li程序员 阅读(413) 评论(0) 推荐(0) 编辑
摘要: window环境运行spark-xgboost 在window 环境下使用spark - xgboost会出现一些问题,这里记录一下。 环境:window 10 + spark 2.4.1 + xgboost 9.0 + pycharm+ spark 由于在widows运行xgboost,是需要有一个dll文件的 上错误 java.io.File 阅读全文
posted @ 2021-05-14 11:51 Mr·Li程序员 阅读(342) 评论(0) 推荐(0) 编辑
摘要: bson.errors.InvalidDocument: documents must have only string keys, key was <class 'type'> 最近在弄MongoDB查询数据,试着用python实现查询数据,不容易上手,在这里总结一下报的错误 from pymongo import MongoClient url= 'mongodb://user:password@ip:port' class PyMongoDemo(object): de 阅读全文
posted @ 2020-11-30 17:57 Mr·Li程序员 阅读(1518) 评论(0) 推荐(0) 编辑
摘要: 代码实现post请求往接口提交数据 需求:往接口上传数据 没下载postman,所以直接在代码行里执行测试接口是否可用 import grequests # 调用接口通知分配完订单的组的信息 url= 'http://0.0.0.0:5000/' data = {'groupId': 1, 'date': '2020'} rs = [ 阅读全文
posted @ 2020-11-27 16:21 Mr·Li程序员 阅读(379) 评论(0) 推荐(0) 编辑
摘要: 接口 接收post请求和get请求 需求:接收post和get请求的数据 def get_data(): # 默认返回内容 return_dict = {'return_code': '200', 'return_info': '处理成功', 'result': False} # 判断传入的json数据是否为空 if request. 阅读全文
posted @ 2020-11-27 16:18 Mr·Li程序员 阅读(694) 评论(0) 推荐(0) 编辑
摘要: 有规模限制的聚类算法 背景介绍: 机器学习的聚类算法在很多场景中都有应用,比如用户群体的聚类,地址聚类等。但是,在实际问题中,我们的聚类问题常常是有类的规模限制的,比如我们需要创建几个等大的类,或者有最小类大小的限制等。 Github地址: https://github.com/jingw2/size_constrain 阅读全文
posted @ 2020-11-26 10:37 Mr·Li程序员 阅读(1055) 评论(0) 推荐(0) 编辑
摘要: 服务后台运行一个任务并记录日志 需求:在服务器上后台运行一个任务 实现: python3.7.6 /data/py_shell/dp_report/distributionOrder.py > /data/py_shell/dp_report/logs/distributionOrder_day.log 2>&1 & ← 后台运行 阅读全文
posted @ 2020-11-26 10:03 Mr·Li程序员 阅读(457) 评论(0) 推荐(0) 编辑