R 并行处理

感觉snowfall包要比parallel包好用

#################################################################################
    sfInit(parallel = TRUE, cpus = ncore) #初始化
    #########################################
    sfLibrary(MASS)     # 载入依赖R包MASS
    sfLibrary(dplyr)  # 载入依赖R包
    ##################
    sfExport("data.layer", "sel.crs",'end.layer','allt','thiswidth','na.dir','csv.path')  # 载入依赖的对象
    sfExport("export_csv", "get.allvalue")   # 载入依赖的函数
    ###############################################################
    # 并行计算
    result <- sfLapply(rest.t, fun = function(t){

})

sfStop() # 结束并行

##############################################

并行运算的核数设置,一般的,你考虑你每个线程运算时,可能产生的最大内存值(比如15Gb),用总的内存值(如128GB)除以单个线程可能的最大内存值(15GB),得到你设置的最佳核心数(8个)。

 

posted @   junjunang  阅读(492)  评论(0编辑  收藏  举报
编辑推荐:
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET10 - 预览版1新功能体验(一)
点击右上角即可分享
微信分享提示