摘要: 一、需求 有一批专利号需要在智慧芽上找它对应的相似专利。 抓包看了下智慧芽登录接口,登录可以直接使用用户名、密码登录,没验证码限制少了很多麻烦。又看它使用token请求,开始想着获取到登录后的token再批量请求接口就好了,但尝试了下发现不行。因为请求次数多了就会有限制,再重新登录换新token都不 阅读全文
posted @ 2024-04-13 11:12 社会主义接班人 阅读(157) 评论(0) 推荐(0) 编辑
摘要: 一、Java调用hdfs的api import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.jun 阅读全文
posted @ 2023-09-13 09:02 社会主义接班人 阅读(539) 评论(0) 推荐(0) 编辑
摘要: 一、mkdir 创建文件夹通过命令hadoop fs -mkdir /cyw在hdfs中创建名为cyw的文件夹 二、moveFromLocal从本地剪切到hdfs中 这里将本地/home/input/movefromlocal文件剪切到hdfs的cyw文件夹下hadoop fs -moveFromL 阅读全文
posted @ 2023-09-11 13:30 社会主义接班人 阅读(27) 评论(0) 推荐(0) 编辑
摘要: 一、问题描述 使用ServerAgent-2.2.3监控服务器时,每次Jmeter点击run时就会闪退,错误日志如下: # # A fatal error has been detected by the Java Runtime Environment: # # EXCEPTION_ACCESS_ 阅读全文
posted @ 2023-09-10 22:20 社会主义接班人 阅读(562) 评论(0) 推荐(0) 编辑
摘要: 一、配置历史服务器 1.增加配置属性 Hadoop部署模式主要有3种:本地、伪分布式、完全分布式。云服务器只有一台所以我使用的是伪分布式模式部署的。要配置历史服务器只需修改mapred-site.xml文件。在里面增加如下配置。 <!-- 历史服务器端地址 --> <property> <name> 阅读全文
posted @ 2023-09-10 14:34 社会主义接班人 阅读(209) 评论(0) 推荐(0) 编辑
摘要: 看boss有招大数据的讲师,好奇看了下,现在大学都讲大数据了,现在是越来越普及。昨天弄了一个云服务器部署了下Hadoop,虽然也是参考网上教程部署,但过程中还是出了不少问题。想着把部署过程完整记录下,所以我就把部署好的实例释放了又实例化了一台新的云服务器重新部署了下,如果是在我本地安装报错了还得重新 阅读全文
posted @ 2023-09-09 16:33 社会主义接班人 阅读(1567) 评论(0) 推荐(0) 编辑
摘要: 这两天把Appinum研究了下,在自己电脑上配置了下测试环境,这里记录下搭建过程。 1.JDK环境配置 之前做Java的时候下载安装过jdk,但由于下载安装的不是Oracle官网的jdk,导致下载android-sdk后运行SDK Manager.exe时就一闪而过,后来又重新下载了jdk配置环境后 阅读全文
posted @ 2023-08-30 20:41 社会主义接班人 阅读(260) 评论(0) 推荐(0) 编辑
摘要: 昨天闲着无聊正好测试环境搭建好了,就跑个流程试试。 一、验证码识别 之前做图片验证码识别有用Sikuli库,百度了下,Sikuli好像不更新了,就没再用,想着怎么截图获取验证码图片,刚开始想着使用AutoItLibrary库,用鼠标键盘图片另存为保存验证码,虽然手动操作另存为的时候是图片,但用Aut 阅读全文
posted @ 2023-08-24 13:54 社会主义接班人 阅读(326) 评论(2) 推荐(0) 编辑
摘要: 一、python安装 下载python然后安装,地址:https://www.python.org/,安装时勾选添加到环境变量,安装后cmd命令python,可看到python版本则安装成功。 二、WxPython安装 pip install wxPython 三、RIDE安装 pip instal 阅读全文
posted @ 2023-08-22 00:10 社会主义接班人 阅读(245) 评论(0) 推荐(0) 编辑
摘要: MQTT消息使用场景广泛,在本地做了个小demo。服务器使用的MQTTnet 3.1.2版本,最新4.1.0版本服务器权限认证网上没找到,所以就使用3.1.2版本了。 一、服务端 引用MQTTnet 3.1.2版本 using MQTT; using MQTTnet.Client; using MQ 阅读全文
posted @ 2022-09-29 08:34 社会主义接班人 阅读(337) 评论(0) 推荐(1) 编辑