点此进入CSDN

点此添加QQ好友 加载失败时会显示




pytorch Dataset数据集和Dataloader迭代数据集

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
import torch
from torch.utils.data import Dataset,DataLoader
 
class SmsDataset(Dataset):
 
    def __init__(self):
        self.file_path = "./SMSSpamCollection"
        self.lines = open(self.file_path,encoding="utf-8").readlines()
 
    def __getitem__(self, index):
        line = self.lines[index].strip()
        label = line.split("\t")[0]
        sent = line.split("\t")[1]
        return label,sent
 
    def __len__(self):
        return len(self.lines)
 
sms_dataset = SmsDataset()
dataloader = DataLoader(sms_dataset,batch_size=2,shuffle=True)
 
 
if __name__ == '__main__':
    for idx,(label,sent) in enumerate(dataloader):
        print(idx)
        print(label)
        print(sent)
        break
    print(len(sms_dataset))
    print(len(dataloader))

  

1
2
3
4
5
0
('ham', 'spam')
('And popping <#> ibuprofens was no help.', 'This is the 2nd time we have tried 2 contact u. U have won the 750 Pound prize. 2 claim is easy, call 08712101358 NOW! Only 10p per min. BT-national-rate')
5574
2787

  

posted @   高颜值的殺生丸  阅读(440)  评论(0编辑  收藏  举报
编辑推荐:
· 用 C# 插值字符串处理器写一个 sscanf
· Java 中堆内存和栈内存上的数据分布和特点
· 开发中对象命名的一点思考
· .NET Core内存结构体系(Windows环境)底层原理浅谈
· C# 深度学习:对抗生成网络(GAN)训练头像生成模型
阅读排行:
· 趁着过年的时候手搓了一个低代码框架
· 本地部署DeepSeek后,没有好看的交互界面怎么行!
· 为什么说在企业级应用开发中,后端往往是效率杀手?
· 用 C# 插值字符串处理器写一个 sscanf
· 乌龟冬眠箱湿度监控系统和AI辅助建议功能的实现

作者信息

昵称:

刘新宇

园龄:4年6个月


粉丝:1209


QQ:522414928

点击右上角即可分享
微信分享提示