上一页 1 2 3 4 5 6 ··· 16 下一页
摘要: Spark Streaming 支持的数据输入源很多,例如:Kafka、 Flume、Twitter、ZeroMQ 和简单的 TCP 套接字等等。数据输入后可以用 Spark 的高度抽象原语如:map、reduce、join、window 等进行运算。而结果也能保存在很多地方,如HDFS,数据库等。 阅读全文
posted @ 2024-02-16 23:20 努力学习2333 阅读(33) 评论(0) 推荐(0) 编辑
摘要: spark rdd持久化 from pyspark import SparkContext, SparkConf import os import re from pyspark.storagelevel import StorageLevel os.environ['SPARK_HOME'] = 阅读全文
posted @ 2024-02-12 23:17 努力学习2333 阅读(15) 评论(0) 推荐(0) 编辑
摘要: 今天学了很多RDD的api 放个目录吧 阅读全文
posted @ 2024-02-11 23:14 努力学习2333 阅读(21) 评论(0) 推荐(0) 编辑
摘要: RDD,学名可伸缩的分布式数据集(Resilient Distributed Dataset)。是一种对数据集形态的抽象,基于此抽象,使用者可以在集群中执行一系列计算,而不用将中间结果落盘。而这正是之前 MR 抽象的一个重要痛点,每一个步骤都需要落盘,使得不必要的开销很高。 对于分布式系统,容错支持 阅读全文
posted @ 2024-02-10 23:11 努力学习2333 阅读(31) 评论(0) 推荐(0) 编辑
摘要: pychram配置远程虚拟环境 阅读全文
posted @ 2024-02-09 23:50 努力学习2333 阅读(31) 评论(0) 推荐(0) 编辑
摘要: 为什么要用非线性函数 要解释这个问题,可以反过来思考一下,为什么激活函数不能使用线性函数。 如果使用线性函数,每一层输出都是上层输入的线性函数,无论神经网络有多少层,输出都是输入的线性组合。加深神经网络的层数就没有什么意义了。线性函数的问题在于不管加深层数到多少,总是存在与之等效的「无隐藏层」的神经 阅读全文
posted @ 2024-02-07 18:33 努力学习2333 阅读(12) 评论(0) 推荐(0) 编辑
摘要: CPU由运算器(ALU)和控制器(CU)两大部件组成。此外,还有若干个寄存器和高速缓冲存储器及实现它们之间联系的数据、控制及状态总线。ALU用来执行算术运算、移位操作、地址运算和转换;寄存器件用于保存中间数据以及指令;CU负责对指令译码,并发出为完成每条指令所要执行的各个操作的控制信号 CPU的运行 阅读全文
posted @ 2024-02-06 22:58 努力学习2333 阅读(10) 评论(0) 推荐(0) 编辑
摘要: 要在unity中使用pmx格式的模型,可以通过blender将pmx转为fbx后再导入unity blender3.5以后 cats插件使用报错 Blender3.5后cats-blender-plugin-master无法使用问题解决方案-CSDN博客 阅读全文
posted @ 2024-02-02 13:56 努力学习2333 阅读(28) 评论(0) 推荐(0) 编辑
摘要: 调用chatgpt api key时出现openai.APIConnectionError: Connection error. 实测可行最新关于openai.APIConnectionError: Connection error.的解决方法-CSDN博客 阅读全文
posted @ 2024-01-29 17:42 努力学习2333 阅读(30) 评论(0) 推荐(0) 编辑
摘要: 1) NLP 基本概念 ① NLP(Natural Language Processing),也就是人们常说的「自然语言处理」,就是研究如何让计算机读懂人类语言,即将人的自然语言转换为计算机可以阅读的指令。 ② 分词是 NLP 任务的一个起始,分词的好坏会影响整体模型的好坏。并且分词不一样,语义不一 阅读全文
posted @ 2024-01-27 20:01 努力学习2333 阅读(18) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 16 下一页
点击右上角即可分享
微信分享提示