01 2024 档案
摘要：今天看到了一道蓝桥杯的题目，其中使用到了dfs算法，在之前的数据结构中学习过这种算法，但是并没有在代码中使用过，因此根据给出的思路在写了一遍这个题目。 #include<bits/stdc++.h> using namespace std; int a[100],ans=0; bool vis[20
阅读全文
摘要：今日对LangChain进行了一些了解。 LangChain是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口，可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互，将多个组件链接在一
阅读全文
摘要：知识图谱（Knowledge Graph）是人工智能的重要分支技术，它在2012年由谷歌提出，是结构化的语义知识库，用于以符号形式描述物理世界中的概念及其相互关系，其基本组成单位是“实体—关系—实体”三元组，以及实体及其相关属性—值对，实体间通过关系相互联结，构成网状的知识结构。
阅读全文
摘要：今日整理了一下本次项目中使用到的技术 首先数字人方面主要使用到的是辅助神经场（nerf）算法，有关此算法的具体讲解 辐射神经场算法——NeRF算法详解-CSDN博客 之后是NLP， NLP的全称是Natuarl Language Processing，中文意思是自然语言处理，是人工智能领域的一个重要
阅读全文
摘要：今天在编写项目时了解到了PyTorch3D这个库，因此对这个库进行了一定的了解并尝试使用这个库 PyTorch3D旨在与深度学习方法稳定集成，以预测和处理3D数据。 在进行安装PyTorch3D时产生了很多错误。 在anaconda虚拟环境使用conda install下载PyTorch3D时总是会
阅读全文
摘要：今日对之前学习的pyspark内容进行了梳理，同时尝试了通过SparkSQL的JDBC方式从mysql读取数据和写入数据 # coding:utf8 from pyspark.sql import SparkSession from pyspark.sql.types import StructTy
阅读全文
摘要：今日学习SprackSQL的两种语言风格，分别是DLS风格和SQL风格，其中SQL风格的语句需要先将DataFrame注册成表才能使用 接下来是学习中使用到的部分代码 # coding:utf8 from pyspark.sql import SparkSession from pyspark.sq
阅读全文
摘要：今日学习时间一小时，学习内容：通过不同格式构建DataFrame对象，包括基于Pandas的DF转换，读取text，csv，json和jparquet创建。 jparquet具有以下特点： 列式存储 自带Schema 具备Predicate Filter特性 一个Parquet文件的内容由Heade
阅读全文
摘要：今日开始学习DataFrame的创建 # coding:utf8 from pyspark.sql import SparkSession from pyspark.sql.types import StructType, StringType, IntegerType import pandas
阅读全文
摘要：今日学习时间两小时，开始学习RDD的内容，学习了RDD的创建和RDD算子的定义分类 RDD学习： RDD五大特征： RDD是有分区的 分区是RDD数据存储的最小单位 计算方法会作用到每一个分区上 RDD之间是由相互依赖的关系的 KV型RDD可以有分区器 KV型RDD：存储的数据是二元元组 RDD分区
阅读全文
摘要：今日学习时间一小时。今日学习了将python代码提交到linux集群中进行。其中一个重点：在代码中涉及到虚拟机中文件的时候，如果只在主节点上有对应的文件，而在其它节点没有对应的文件的时候不能正常运行。
阅读全文
摘要：今日学习时间两小时，主要完成了anaconda配置python的虚拟环境以及pycharm通过ssh远程连接虚拟机的spark。并通过pyshark连接虚拟机进行词频统计。
阅读全文
