spark之从外部文件获取广播变量

复制代码
public static Map<String,String> loadDataFromFile() {
        Map<String,String> map = new ConcurrentHashMap<>();
        try {
            File file = new File("filename.txt");
            if (file.isFile() && file.exists()) {
                InputStreamReader read = new InputStreamReader(new FileInputStream(file), "UTF-8");
                BufferedReader bufferedReader = new BufferedReader(read);
                String line = null;
                while ((line = bufferedReader.readLine()) != null) {
                    String[] split = line.split(",");
                    if (split.length==2) {
                        map.put(split[0],split[1]);
                    }
                }
                bufferedReader.close();
                read.close();
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
        return map;
    }
复制代码
//获取文件内容并广播
Map<String,String> pidMap = loadDataFromFile();
        Broadcast<Map<String,String>> broadcast = sc.broadcast(pidMap);

//在worker中使用
broadcast.getValue();

 

posted @   Mars.wang  阅读(689)  评论(0编辑  收藏  举报
编辑推荐:
· AI与.NET技术实操系列:基于图像分类模型对图像进行分类
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
阅读排行:
· 25岁的心里话
· 闲置电脑爆改个人服务器(超详细) #公网映射 #Vmware虚拟网络编辑器
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· 零经验选手,Compose 一天开发一款小游戏!
· 通过 API 将Deepseek响应流式内容输出到前端
点击右上角即可分享
微信分享提示