摘要: 这段时间比较火的chatGPT,准确来说应该只是openAI的一个小部分,这里对openAI的功能接口进行一个java实现,以文本补全、聊天(也就是chatGPT)和图像生成作为演示,体会一下AI的强大力量。一、openAI账号创建以及测试1.账号访问openai.com注册,按照提示输入注册就行, 阅读全文
posted @ 2023-03-11 04:35 脑袋凉凉 阅读(12115) 评论(12) 推荐(2) 编辑
摘要: 一、虚拟机准备(主要是因为上次安装稀里糊涂找的教程,后来有问题了哈哈,这次仔细看了油管教程还有官网教程,记录一下后面要是出问题了方便重装哈哈)配置:1.进入root账号sudo passwd root #设置初始密码 su root2.编辑网卡配置文件vim /etc/netplan/01-netw 阅读全文
posted @ 2023-01-30 15:39 脑袋凉凉 阅读(623) 评论(0) 推荐(0) 编辑
摘要: 参考:https://blog.csdn.net/m0_45692110/article/details/122628664https://huaweicloud.csdn.net/635607c3d3efff3090b58eb4.html一、虚拟机准备controller和compute虚拟机,使 阅读全文
posted @ 2023-01-27 20:03 脑袋凉凉 阅读(6258) 评论(0) 推荐(1) 编辑
摘要: 1.访问github这里挂了梯子还进不去(可以ping通github但无法访问网页),需要修改hosts,添加以下内容,参考:https://blog.csdn.net/suzhiwei_boke/article/details/1251643282.安装GitLFS将GitLFS安装到Git的bi 阅读全文
posted @ 2023-01-27 19:51 脑袋凉凉 阅读(111) 评论(0) 推荐(0) 编辑
摘要: 1.题目在漆黑的夜里,四位旅行者来到了一座狭窄而且没有护栏的桥边。如果不借助手电筒的话,大家是无论如何也不敢过桥去的。不幸的是,四个人一共只带了一只手电筒,而桥窄得只够让两个人同时过。如果各自单独过桥的话,四人所需要的时间分别是1、2、5、8分钟;而如果两人同时过桥,所需要的时间就是走得比较慢的那个 阅读全文
posted @ 2022-12-28 19:15 脑袋凉凉 阅读(152) 评论(0) 推荐(0) 编辑
摘要: 环境:虚拟机hive+本地spark+python(pyspark)数据:商品订单数据+商品种类数据步骤:将数据上传到hdfs后,在python中完成hive表的创建,数据处理,关联规则挖掘,数据可视化实现功能:对商品订单中的信息进行挖掘,得到商品组合之间的关联关系(本文只对order进行了处理,没 阅读全文
posted @ 2022-12-23 17:52 脑袋凉凉 阅读(226) 评论(0) 推荐(0) 编辑
摘要: 上一篇文章介绍了python连接hive的过程,通过地址+端口号访问到hive并对hive中的数据进行操作,这一篇文章介绍一下怎么通过windows本地pyspark+本地部署好的spark+远程虚拟机的hive,完成本地pyspark对hive的访问。一.环境介绍(1)关于pyspark这个是之前 阅读全文
posted @ 2022-12-22 13:33 脑袋凉凉 阅读(488) 评论(3) 推荐(0) 编辑
摘要: 步骤:启动metastore启动hiveserver2使用beeline进行连接测试,查看地址等是否能够成功连接(确认无误可以跳过)使用python连接hive(粗暴的文件配置以及完整操作见文末)一.启动hiveserver21.配置mode为http,端口为10001(默认)<property> 阅读全文
posted @ 2022-12-21 18:24 脑袋凉凉 阅读(341) 评论(0) 推荐(0) 编辑
摘要: 题目:1、 创建员工信息数据文件employess.txt,数据文件中包含内容如下(姓名、年龄、薪资、):Lilith Hardy,30,6000,50,Finance DepartmentByron Green,36,5000,25,Personnel DepartmentYvette Ward, 阅读全文
posted @ 2022-12-05 16:48 脑袋凉凉 阅读(136) 评论(0) 推荐(0) 编辑
摘要: 一.数据库操作1.显示当前所有数据库Show databases;2.创建数据库studyCREATE DATABASE IF NOT EXISTS study COMMENT "This is study database"LOCATION '/user/hive_db/create_db/';3 阅读全文
posted @ 2022-12-04 20:23 脑袋凉凉 阅读(58) 评论(0) 推荐(0) 编辑