摘要:
Spark Streaming 支持的数据输入源很多,例如:Kafka、 Flume、Twitter、ZeroMQ 和简单的 TCP 套接字等等。数据输入后可以用 Spark 的高度抽象原语如:map、reduce、join、window 等进行运算。而结果也能保存在很多地方,如HDFS,数据库等。 阅读全文
摘要:
spark rdd持久化 from pyspark import SparkContext, SparkConf import os import re from pyspark.storagelevel import StorageLevel os.environ['SPARK_HOME'] = 阅读全文
摘要:
今天学了很多RDD的api 放个目录吧 阅读全文
摘要:
RDD,学名可伸缩的分布式数据集(Resilient Distributed Dataset)。是一种对数据集形态的抽象,基于此抽象,使用者可以在集群中执行一系列计算,而不用将中间结果落盘。而这正是之前 MR 抽象的一个重要痛点,每一个步骤都需要落盘,使得不必要的开销很高。 对于分布式系统,容错支持 阅读全文
摘要:
pychram配置远程虚拟环境 阅读全文
摘要:
为什么要用非线性函数 要解释这个问题,可以反过来思考一下,为什么激活函数不能使用线性函数。 如果使用线性函数,每一层输出都是上层输入的线性函数,无论神经网络有多少层,输出都是输入的线性组合。加深神经网络的层数就没有什么意义了。线性函数的问题在于不管加深层数到多少,总是存在与之等效的「无隐藏层」的神经 阅读全文
摘要:
CPU由运算器(ALU)和控制器(CU)两大部件组成。此外,还有若干个寄存器和高速缓冲存储器及实现它们之间联系的数据、控制及状态总线。ALU用来执行算术运算、移位操作、地址运算和转换;寄存器件用于保存中间数据以及指令;CU负责对指令译码,并发出为完成每条指令所要执行的各个操作的控制信号 CPU的运行 阅读全文
摘要:
要在unity中使用pmx格式的模型,可以通过blender将pmx转为fbx后再导入unity blender3.5以后 cats插件使用报错 Blender3.5后cats-blender-plugin-master无法使用问题解决方案-CSDN博客 阅读全文