用PyTorch实现线性回归用PyTorch实现线性回归

1.代码（100次epoch）

import torch
import matplotlib.pyplot as plt
# prepare dataset
# x,y是矩阵，3行1列 也就是说总共有3个数据，每个数据只有1个特征
x_data = torch.tensor([[1.0], [2.0], [3.0]])
y_data = torch.tensor([[2.0], [4.0], [6.0]])
 
#design model using class
"""
our model class should be inherit from nn.Module, which is base class for all neural network modules.
member methods __init__() and forward() have to be implemented
class nn.linear contain two member Tensors: weight and bias
class nn.Linear has implemented the magic method __call__(),which enable the instance of the class can
be called just like a function.Normally the forward() will be called 
"""
# nn Neural Network
class LinearModel(torch.nn.Module):# 把模型定义为一个类；torch.nn.Module中的许多方法是在模型训练当中需要用到的
    def __init__(self):# 构造函数；初始化对象的时候默认调用的函数
        super(LinearModel, self).__init__()  # 调用父类的构造
        # 该线性层需要学习的参数是w和b  获取w/b的方式分别是~linear.weight/linear.bias
        self.linear = torch.nn.Linear(1, 1)#torch.nn.Linear是pytorch中的一个类，torch.nn.Linear(1, 1)的过程是在构造一个对象
        # (1,1)是指输入x和输出y的特征维度，这里数据集中的x和y的特征都是1维的
    def forward(self, x):#forward名字不可更改；此函数是进行前馈的过程中所要执行的计算；相当于函数的重载overwrite
        y_pred = self.linear(x)  # 计算y_hat
        return y_pred
    # Module中会自动根据计算图去实现backword的过程
model = LinearModel()# 将模型实例化；该model 是可以被callable的（可调用的）
 
# construct loss and optimizer
# criterion = torch.nn.MSELoss(size_average = False)  #计算平均平方误差的时候前面是否要乘以  1/n;（与mini-batch中的数量与总量是否“整除”有关）
criterion = torch.nn.MSELoss(reduction = 'sum')
optimizer = torch.optim.SGD(model.parameters(), lr = 0.01) #优化器（优化器不会去构建计算图）；把模型中涉及到的权重都找出来
# model.parameters()自动完成参数的初始化操作
# 随机梯度下降 stochastic gradient descent SGD；写SGD不一定是随机梯度下降，要看传进来的数据是单个的还是批量的。

epoch_list = []##
cost_list = []##
# training cycle forward, backward, update
for epoch in range(100):  # 如果较少的迭代次数没有收敛到一个较好的值，就增加迭代次数；(还要观察测试集（开发集）的损失有没有上升，防止过拟合)
    y_pred = model(x_data) # forward:predict
    loss = criterion(y_pred, y_data) # forward: loss
    print(epoch, loss.item()) 
 
    optimizer.zero_grad() # the grad computer by .backward() will be accumulated. so before backward, remember set the grad to zero
    loss.backward() # backward: autograd，自动计算梯度
    optimizer.step() # update 参数，即更新w和b的值
    epoch_list.append(epoch)##
    cost_list.append(loss.item())##
print('w = ', model.linear.weight.item())
print('b = ', model.linear.bias.item())
 
x_test = torch.tensor([[4.0]])
y_test = model(x_test)
print('y_pred = ', y_test.data)

plt.plot(epoch_list,cost_list)##
plt.ylabel('cost')##
plt.xlabel('epoch')##
plt.show()##

0 45.84282684326172
1 20.713590621948242
2 9.522379875183105
3 4.536039352416992
4 2.311995267868042
5 1.3177073001861572
6 0.8709335923194885
7 0.6679552793502808
8 0.5735681056976318
9 0.5275792479515076
10 0.5031940340995789
11 0.48848241567611694
12 0.4781322777271271
13 0.4697784185409546
14 0.4623670279979706
15 0.45542848110198975
16 0.44875210523605347
17 0.4422447383403778
18 0.4358631372451782
19 0.4295874238014221
20 0.4234086275100708
21 0.41732099652290344
22 0.41132280230522156
23 0.4054108262062073
24 0.39958396553993225
25 0.3938416540622711
26 0.38818109035491943
27 0.3826025426387787
28 0.37710413336753845
29 0.37168437242507935
30 0.3663429021835327
31 0.3610778748989105
32 0.3558884859085083
33 0.35077378153800964
34 0.34573251008987427
35 0.3407638967037201
36 0.3358665704727173
37 0.33103978633880615
38 0.326281875371933
39 0.3215927183628082
40 0.3169710338115692
41 0.31241574883461
42 0.3079257309436798
43 0.30350053310394287
44 0.29913854598999023
45 0.29483944177627563
46 0.2906019687652588
47 0.2864258289337158
48 0.28230947256088257
49 0.27825215458869934
50 0.2742534577846527
51 0.2703119218349457
52 0.26642730832099915
53 0.26259806752204895
54 0.2588241398334503
55 0.25510427355766296
56 0.25143811106681824
57 0.2478245049715042
58 0.24426305294036865
59 0.2407526820898056
60 0.23729275166988373
61 0.23388218879699707
62 0.2305210828781128
63 0.2272082418203354
64 0.22394274175167084
65 0.22072438895702362
66 0.21755219995975494
67 0.2144254744052887
68 0.21134400367736816
69 0.20830665528774261
70 0.20531290769577026
71 0.20236241817474365
72 0.19945412874221802
73 0.19658759236335754
74 0.19376240670681
75 0.19097758829593658
76 0.1882329285144806
77 0.18552780151367188
78 0.1828613430261612
79 0.18023359775543213
80 0.17764338850975037
81 0.1750902533531189
82 0.17257404327392578
83 0.17009393870830536
84 0.16764938831329346
85 0.16523981094360352
86 0.16286492347717285
87 0.160524383187294
88 0.1582174301147461
89 0.15594348311424255
90 0.15370245277881622
91 0.1514936238527298
92 0.14931637048721313
93 0.1471705287694931
94 0.14505526423454285
95 0.14297062158584595
96 0.14091604948043823
97 0.13889087736606598
98 0.13689476251602173
99 0.13492721319198608
w =  1.7554644346237183
b =  0.5558866262435913
y_pred =  tensor([[7.5777]])

2.说明

PyTorch Fashion(风格)

1、prepare dataset

2、design model using Class # 目的是为了前向传播forward，即计算y hat(预测值)

3、Construct loss and optimizer (using PyTorch API) 其中，计算loss是为了进行反向传播，optimizer是为了更新梯度。

4、Training cycle (forward,backward,update)

代码说明：

1、Module实现了魔法函数__call__()，call()里面有一条语句是要调用forward()。因此新写的类中需要重写forward()覆盖掉父类中的forward()

2、call函数的另一个作用是可以直接在对象后面加()，例如实例化的model对象，和实例化的linear对象

3、本算法的forward体现是通过以下语句实现的：

y_pred = model(x_data)

由于魔法函数call的实现,model(x_data)将会调用model.forward(x_data)函数，model.forward(x_data)函数中的

y_pred = self.linear(x)

self.linear(x)也由于魔法函数call的实现将会调用torch.nn.Linear类中的forward，至此完成封装，也就是说forward最终是在torch.nn.Linear类中实现的，具体怎么实现，可以不用关心，大概就是y= wx + b。

关于魔法函数call在PyTorch中的应用的进一步解释：

pytorch 之 call, init,forward

pytorch系列nn.Modlue中call的进一步解释

4、本算法的反向传播，计算梯度是通过以下语句实现的：

loss.backward() # 反向传播，计算梯度

5、本算法的参数(w,b)更新，是通过以下语句实现的：

optimizer.step() # update 参数，即更新w和b的值

6、 每一次epoch的训练过程，总结就是

①前向传播，求y hat （输入的预测值）

②根据y_hat和y_label(y_data)计算loss

③反向传播 backward (计算梯度)

④根据梯度，更新参数

7、本实例是批量数据处理，小伙伴们不要被optimizer = torch.optim.SGD(model.parameters(), lr = 0.01)误导了，以为见了SGD就是随机梯度下降。要看传进来的数据是单个的还是批量的。这里的x_data是3个数据，是一个batch，调用的PyTorch API是 torch.optim.SGD，但这里的SGD不是随机梯度下降，而是批量梯度下降。也就是说，梯度下降算法使用的是随机梯度下降，还是批量梯度下降，还是mini-batch梯度下降，用的API都是 torch.optim.SGD。

8、torch.nn.MSELoss也跟torch.nn.Module有关，参与计算图的构建，torch.optim.SGD与torch.nn.Module无关，不参与构建计算图。

9、传送门 torch.nn.Linear的pytorch文档

3.代码（1000次epoch）

import torch
import matplotlib.pyplot as plt
# prepare dataset
# x,y是矩阵，3行1列 也就是说总共有3个数据，每个数据只有1个特征
x_data = torch.tensor([[1.0], [2.0], [3.0]])
y_data = torch.tensor([[2.0], [4.0], [6.0]])
 
#design model using class
"""
our model class should be inherit from nn.Module, which is base class for all neural network modules.
member methods __init__() and forward() have to be implemented
class nn.linear contain two member Tensors: weight and bias
class nn.Linear has implemented the magic method __call__(),which enable the instance of the class can
be called just like a function.Normally the forward() will be called 
"""
# nn Neural Network
class LinearModel(torch.nn.Module):# 把模型定义为一个类；torch.nn.Module中的许多方法是在模型训练当中需要用到的
    def __init__(self):# 构造函数；初始化对象的时候默认调用的函数
        super(LinearModel, self).__init__()  # 调用父类的构造
        # 该线性层需要学习的参数是w和b  获取w/b的方式分别是~linear.weight/linear.bias
        self.linear = torch.nn.Linear(1, 1)#torch.nn.Linear是pytorch中的一个类，torch.nn.Linear(1, 1)的过程是在构造一个对象
        # (1,1)是指输入x和输出y的特征维度，这里数据集中的x和y的特征都是1维的
    def forward(self, x):#forward名字不可更改；此函数是进行前馈的过程中所要执行的计算；相当于函数的重载overwrite
        y_pred = self.linear(x)  # 计算y_hat
        return y_pred
    # Module中会自动根据计算图去实现backword的过程
model = LinearModel()# 将模型实例化；该model 是可以被callable的（可调用的）
 
# construct loss and optimizer
# criterion = torch.nn.MSELoss(size_average = False)  #计算平均平方误差的时候前面是否要乘以  1/n;（与mini-batch中的数量与总量是否“整除”有关）
criterion = torch.nn.MSELoss(reduction = 'sum')
optimizer = torch.optim.SGD(model.parameters(), lr = 0.01) #优化器（优化器不会去构建计算图）；把模型中涉及到的权重都找出来
# model.parameters()自动完成参数的初始化操作
# 随机梯度下降 stochastic gradient descent SGD；写SGD不一定是随机梯度下降，要看传进来的数据是单个的还是批量的。

epoch_list = []##
cost_list = []##
# training cycle forward, backward, update
for epoch in range(1000):  # 如果较少的迭代次数没有收敛到一个较好的值，就增加迭代次数；(还要观察测试集（开发集）的损失有没有上升，防止过拟合)
    y_pred = model(x_data) # forward:predict
    loss = criterion(y_pred, y_data) # forward: loss
    print(epoch, loss.item()) 
 
    optimizer.zero_grad() # the grad computer by .backward() will be accumulated. so before backward, remember set the grad to zero
    loss.backward() # backward: autograd，自动计算梯度
    optimizer.step() # update 参数，即更新w和b的值
    epoch_list.append(epoch)##
    cost_list.append(loss.item())##
print('w = ', model.linear.weight.item())
print('b = ', model.linear.bias.item())
 
x_test = torch.tensor([[4.0]])
y_test = model(x_test)
print('y_pred = ', y_test.data)

plt.plot(epoch_list,cost_list)##
plt.ylabel('cost')##
plt.xlabel('epoch')##
plt.show()##

0 37.30872344970703
1 16.70294761657715
2 7.52849006652832
3 3.4429471492767334
4 1.6228643655776978
5 0.8113198280334473
6 0.4487662613391876
7 0.28610897064208984
8 0.21245791018009186
9 0.1784476339817047
10 0.16210198402404785
11 0.15363723039627075
12 0.14869797229766846
13 0.14534513652324677
14 0.14271508157253265
15 0.14042305946350098
16 0.13829781115055084
17 0.13626261055469513
18 0.1342829018831253
19 0.1323435753583908
20 0.1304374784231186
21 0.12856073677539825
22 0.12671256065368652
23 0.12489105761051178
24 0.12309599667787552
25 0.12132687121629715
26 0.11958304792642593
27 0.11786459386348724
28 0.11617069691419601
29 0.114500992000103
30 0.1128554567694664
31 0.11123362183570862
32 0.10963492095470428
33 0.10805941373109818
34 0.10650648176670074
35 0.10497568547725677
36 0.10346714407205582
37 0.10198020935058594
38 0.10051460564136505
39 0.0990699902176857
40 0.09764601290225983
41 0.09624283760786057
42 0.09485971927642822
43 0.09349650889635086
44 0.09215270727872849
45 0.09082836657762527
46 0.08952295780181885
47 0.08823628723621368
48 0.08696829527616501
49 0.08571851998567581
50 0.0844864621758461
51 0.08327239751815796
52 0.08207554370164871
53 0.08089600503444672
54 0.07973337918519974
55 0.07858757674694061
56 0.07745801657438278
57 0.07634488493204117
58 0.07524775713682175
59 0.07416634261608124
60 0.07310036569833755
61 0.07204984873533249
62 0.07101430743932724
63 0.06999384611845016
64 0.0689878985285759
65 0.06799621134996414
66 0.06701911985874176
67 0.06605582684278488
68 0.06510667502880096
69 0.06417091190814972
70 0.06324869394302368
71 0.0623396597802639
72 0.06144370138645172
73 0.0605606809258461
74 0.05969038978219032
75 0.05883254483342171
76 0.05798715353012085
77 0.05715373158454895
78 0.056332264095544815
79 0.055522773414850235
80 0.054724715650081635
81 0.053938306868076324
82 0.053163088858127594
83 0.052399083971977234
84 0.05164607986807823
85 0.05090387910604477
86 0.05017217993736267
87 0.049451183527708054
88 0.048740461468696594
89 0.048040084540843964
90 0.04734954610466957
91 0.04666910693049431
92 0.04599831998348236
93 0.045337412506341934
94 0.04468571022152901
95 0.04404362291097641
96 0.04341050609946251
97 0.04278668761253357
98 0.042171742767095566
99 0.04156564548611641
100 0.040968265384435654
101 0.04037952423095703
102 0.03979925066232681
103 0.03922722116112709
104 0.03866354003548622
105 0.038107819855213165
106 0.03756016865372658
107 0.037020325660705566
108 0.03648839145898819
109 0.035964012145996094
110 0.03544708341360092
111 0.03493766859173775
112 0.03443560004234314
113 0.033940643072128296
114 0.03345293179154396
115 0.03297211602330208
116 0.03249824792146683
117 0.03203113004565239
118 0.031570807099342346
119 0.031117113307118416
120 0.030669892206788063
121 0.030229173600673676
122 0.029794776812195778
123 0.029366562142968178
124 0.02894444391131401
125 0.028528572991490364
126 0.028118520975112915
127 0.02771436795592308
128 0.027316072955727577
129 0.026923608034849167
130 0.026536617428064346
131 0.026155201718211174
132 0.02577935717999935
133 0.0254087895154953
134 0.025043657049536705
135 0.024683769792318344
136 0.02432897314429283
137 0.023979345336556435
138 0.023634832352399826
139 0.023295119404792786
140 0.022960280999541283
141 0.02263033203780651
142 0.022305062040686607
143 0.02198457159101963
144 0.02166854776442051
145 0.02135717310011387
146 0.021050196141004562
147 0.020747752860188484
148 0.020449550822377205
149 0.020155588164925575
150 0.019865982234477997
151 0.019580457359552383
152 0.01929907500743866
153 0.019021693617105484
154 0.01874835230410099
155 0.018478931859135628
156 0.01821332797408104
157 0.01795158162713051
158 0.017693575471639633
159 0.017439257353544235
160 0.017188679426908493
161 0.01694166287779808
162 0.016698168590664864
163 0.016458168625831604
164 0.0162216667085886
165 0.015988554805517197
166 0.015758734196424484
167 0.015532266348600388
168 0.015309005975723267
169 0.015089061111211777
170 0.014872126281261444
171 0.014658402651548386
172 0.014447756111621857
173 0.014240126125514507
174 0.014035480096936226
175 0.01383376494050026
176 0.013634975999593735
177 0.013439021073281765
178 0.013245849870145321
179 0.013055511750280857
180 0.012867896817624569
181 0.012682950124144554
182 0.012500634416937828
183 0.012321020476520061
184 0.012143930420279503
185 0.011969400569796562
186 0.011797377839684486
187 0.0116278612986207
188 0.011460741050541401
189 0.011296017095446587
190 0.011133687570691109
191 0.01097366027534008
192 0.010815976187586784
193 0.010660508647561073
194 0.010507321916520596
195 0.010356292128562927
196 0.010207464918494225
197 0.010060759261250496
198 0.00991621520370245
199 0.009773689322173595
200 0.009633216075599194
201 0.009494762867689133
202 0.009358295239508152
203 0.00922382716089487
204 0.00909123569726944
205 0.008960616774857044
206 0.008831816725432873
207 0.008704910054802895
208 0.008579783141613007
209 0.00845651887357235
210 0.008334917016327381
211 0.008215170353651047
212 0.008097101002931595
213 0.007980727590620518
214 0.007866047322750092
215 0.007753016892820597
216 0.007641551084816456
217 0.0075317551381886005
218 0.007423475384712219
219 0.007316830102354288
220 0.007211657706648111
221 0.007108025718480349
222 0.00700585450977087
223 0.006905191112309694
224 0.006805937271565199
225 0.006708140019327402
226 0.0066117411479353905
227 0.0065166824497282505
228 0.00642303004860878
229 0.0063307262025773525
230 0.006239756476134062
231 0.006150092463940382
232 0.006061683874577284
233 0.005974585190415382
234 0.005888714920729399
235 0.005804094485938549
236 0.005720649845898151
237 0.005638469010591507
238 0.005557423923164606
239 0.005477542523294687
240 0.005398850422352552
241 0.0053212279453873634
242 0.00524477381259203
243 0.005169362295418978
244 0.0050951275043189526
245 0.005021866410970688
246 0.004949700552970171
247 0.004878580570220947
248 0.004808451514691114
249 0.004739345982670784
250 0.004671209957450628
251 0.004604076035320759
252 0.0045379213988780975
253 0.0044727083295583725
254 0.004408434499055147
255 0.0043450817465782166
256 0.004282636567950249
257 0.004221104551106691
258 0.004160403739660978
259 0.0041006156243383884
260 0.004041681531816721
261 0.003983599599450827
262 0.003926360514014959
263 0.0038699302822351456
264 0.0038143214769661427
265 0.0037595033645629883
266 0.0037054645363241434
267 0.0036522280424833298
268 0.003599746385589242
269 0.0035479702055454254
270 0.003496988443657756
271 0.0034467580262571573
272 0.0033972265664488077
273 0.003348369849845767
274 0.0033002744894474745
275 0.0032528385054320097
276 0.0032060721423476934
277 0.0031600105576217175
278 0.00311460648663342
279 0.0030698305927217007
280 0.0030257245525717735
281 0.0029822327196598053
282 0.0029393741860985756
283 0.002897141966968775
284 0.0028554857708513737
285 0.0028144456446170807
286 0.0027740150690078735
287 0.00273414165712893
288 0.0026948193553835154
289 0.0026561173144727945
290 0.0026179393753409386
291 0.002580303465947509
292 0.002543254056945443
293 0.002506681950762868
294 0.00247065513394773
295 0.0024351472966372967
296 0.0024001726415008307
297 0.002365646418184042
298 0.002331659197807312
299 0.0022981688380241394
300 0.0022651338949799538
301 0.002232549712061882
302 0.002200482413172722
303 0.002168860984966159
304 0.002137713134288788
305 0.0021069454960525036
306 0.002076694741845131
307 0.0020468258298933506
308 0.002017411170527339
309 0.0019884139765053988
310 0.0019598661456257105
311 0.0019316909601911902
312 0.0019039277685806155
313 0.0018765544518828392
314 0.0018495868425816298
315 0.0018230179557576776
316 0.0017967892345041037
317 0.001770985429175198
318 0.0017455309862270951
319 0.0017204658361151814
320 0.0016957208281382918
321 0.0016713618533685803
322 0.0016473277937620878
323 0.0016236623050644994
324 0.0016003238270059228
325 0.0015773181803524494
326 0.0015546557260677218
327 0.001532314345240593
328 0.001510279136709869
329 0.0014885965501889586
330 0.0014671998796984553
331 0.0014461062382906675
332 0.0014253146946430206
333 0.0014048500452190638
334 0.0013846460497006774
335 0.001364751486107707
336 0.0013451289851218462
337 0.0013258029939606786
338 0.0013067452237010002
339 0.0012879817513749003
340 0.0012694576289504766
341 0.0012512239627540112
342 0.0012332304613664746
343 0.0012155050644651055
344 0.0011980549897998571
345 0.0011808109702542424
346 0.0011638625292107463
347 0.0011471310863271356
348 0.0011306342203170061
349 0.0011144042946398258
350 0.0010983746033161879
351 0.0010825949721038342
352 0.0010670264018699527
353 0.0010516949696466327
354 0.0010365719208493829
355 0.0010216865921393037
356 0.0010070028947666287
357 0.0009925226913765073
358 0.000978258321993053
359 0.0009642000077292323
360 0.0009503402980044484
361 0.0009367036982439458
362 0.0009232274605892599
363 0.0009099681628867984
364 0.0008968935580924153
365 0.0008839966030791402
366 0.0008712890557944775
367 0.0008587655611336231
368 0.0008464223938062787
369 0.0008342525688931346
370 0.0008222608594223857
371 0.0008104454027488828
372 0.0007988106808625162
373 0.0007873335853219032
374 0.000776010740082711
375 0.0007648439495824277
376 0.0007538633653894067
377 0.0007430351106449962
378 0.0007323449826799333
379 0.0007218198152258992
380 0.0007114592008292675
381 0.0007012273999862373
382 0.000691147637553513
383 0.000681213743519038
384 0.0006714300252497196
385 0.0006617709877900779
386 0.0006522680050693452
387 0.0006428912747651339
388 0.0006336497608572245
389 0.0006245376425795257
390 0.000615569413639605
391 0.000606731919106096
392 0.00059799529844895
393 0.0005894123460166156
394 0.0005809489521197975
395 0.0005725828814320266
396 0.0005643548793159425
397 0.0005562604637816548
398 0.0005482558044604957
399 0.0005403686664067209
400 0.0005326110986061394
401 0.0005249576061032712
402 0.0005174071411602199
403 0.0005099730333313346
404 0.000502648763358593
405 0.0004954215255565941
406 0.0004882992943748832
407 0.00048128727939911187
408 0.00047437282046303153
409 0.00046755620860494673
410 0.0004608251038007438
411 0.0004542059905361384
412 0.00044768399675376713
413 0.00044124212581664324
414 0.0004349051450844854
415 0.00042865730938501656
416 0.00042250013211742043
417 0.00041642191354185343
418 0.0004104301333427429
419 0.00040453672409057617
420 0.00039873120840638876
421 0.0003929884114768356
422 0.0003873410460073501
423 0.0003817879478447139
424 0.00037628962309099734
425 0.0003708894073497504
426 0.0003655593318399042
427 0.0003602976503316313
428 0.0003551277914084494
429 0.0003500213788356632
430 0.0003449822252150625
431 0.0003400278219487518
432 0.00033514227834530175
433 0.00033033330691978335
434 0.0003255789924878627
435 0.00032089976593852043
436 0.0003162864886689931
437 0.0003117425076197833
438 0.00030726302065886557
439 0.00030284831882454455
440 0.00029849872225895524
441 0.0002942075370810926
442 0.00028997313347645104
443 0.0002858087536878884
444 0.0002817096246872097
445 0.0002776565670501441
446 0.00027366753784008324
447 0.0002697274030651897
448 0.0002658518496900797
449 0.0002620335144456476
450 0.00025826244382187724
451 0.0002545604365877807
452 0.00025089530390687287
453 0.0002472923952154815
454 0.00024374005442950875
455 0.00024023954756557941
456 0.00023677689023315907
457 0.0002333784505026415
458 0.00023001956287771463
459 0.00022672355407848954
460 0.00022345653269439936
461 0.0002202520554419607
462 0.0002170784428017214
463 0.0002139652642654255
464 0.0002108821936417371
465 0.0002078591933241114
466 0.00020486886205617338
467 0.00020192496594972908
468 0.00019902615167666227
469 0.00019616380450315773
470 0.00019334399257786572
471 0.00019056146265938878
472 0.00018782459665089846
473 0.00018512492533773184
474 0.00018246208492200822
475 0.00017984348232857883
476 0.00017726006626617163
477 0.00017471224418841302
478 0.00017219888104591519
479 0.0001697287370916456
480 0.0001672869548201561
481 0.0001648845209274441
482 0.00016251503257080913
483 0.0001601752155693248
484 0.00015787426673341542
485 0.0001556059141876176
486 0.00015336911019403487
487 0.00015116637223400176
488 0.00014899446978233755
489 0.00014684884808957577
490 0.0001447460672352463
491 0.00014266678772401065
492 0.00014061566616874188
493 0.00013858759484719485
494 0.00013659939577337354
495 0.00013463501818478107
496 0.00013270093768369406
497 0.00013079082418698817
498 0.00012891567894257605
499 0.00012706128472927958
500 0.00012523724581114948
501 0.00012343478738330305
502 0.00012166400119895115
503 0.00011991746578132734
504 0.00011819050268968567
505 0.00011649176303762943
506 0.00011481902038212866
507 0.00011316828749841079
508 0.00011154176900163293
509 0.00010994043987011537
510 0.00010835796274477616
511 0.00010679836850613356
512 0.00010526797268539667
513 0.00010375336569268256
514 0.00010226325684925541
515 0.00010079092317027971
516 9.934780973708257e-05
517 9.791569755179808e-05
518 9.650710126152262e-05
519 9.511948883300647e-05
520 9.375993977300823e-05
521 9.241130464943126e-05
522 9.107908408623189e-05
523 8.977251854958013e-05
524 8.848196739563718e-05
525 8.721051563043147e-05
526 8.595258259447291e-05
527 8.472145418636501e-05
528 8.350557618541643e-05
529 8.230323874158785e-05
530 8.112114301184192e-05
531 7.995538908289745e-05
532 7.880530029069632e-05
533 7.767072384012863e-05
534 7.655708759557456e-05
535 7.545502739958465e-05
536 7.436847954522818e-05
537 7.330076186917722e-05
538 7.22516342648305e-05
539 7.121302041923627e-05
540 7.0186797529459e-05
541 6.917866267031059e-05
542 6.818501424277201e-05
543 6.720523379044607e-05
544 6.623964145546779e-05
545 6.528431549668312e-05
546 6.434713577618822e-05
547 6.342043343465775e-05
548 6.251377635635436e-05
549 6.161684723338112e-05
550 6.072594624129124e-05
551 5.985637835692614e-05
552 5.899486495763995e-05
553 5.814713586005382e-05
554 5.7312143326271325e-05
555 5.648974183714017e-05
556 5.567589323618449e-05
557 5.4878717492101714e-05
558 5.4089421610115096e-05
559 5.3308394853957e-05
560 5.254400457488373e-05
561 5.179099025554024e-05
562 5.104632145958021e-05
563 5.0309525249758735e-05
564 4.958872523275204e-05
565 4.887475006398745e-05
566 4.817281660507433e-05
567 4.748196806758642e-05
568 4.6798097173450515e-05
569 4.612669363268651e-05
570 4.5462096750270575e-05
571 4.481088399188593e-05
572 4.41639895143453e-05
573 4.353138501755893e-05
574 4.290601282264106e-05
575 4.2288185795769095e-05
576 4.167972656432539e-05
577 4.108163193450309e-05
578 4.049044946441427e-05
579 3.9909798942971975e-05
580 3.93348018405959e-05
581 3.876976188621484e-05
582 3.8214566302485764e-05
583 3.76633761334233e-05
584 3.712398392963223e-05
585 3.658847708720714e-05
586 3.606454629334621e-05
587 3.554509021341801e-05
588 3.5031811421504244e-05
589 3.452909004408866e-05
590 3.403340087970719e-05
591 3.354600994498469e-05
592 3.306213329778984e-05
593 3.25857508869376e-05
594 3.211942021152936e-05
595 3.1657757062930614e-05
596 3.120203473372385e-05
597 3.075509812333621e-05
598 3.031362939509563e-05
599 2.9879160138079897e-05
600 2.9448463465087116e-05
601 2.9023398383287713e-05
602 2.8608888896997087e-05
603 2.8194270271342248e-05
604 2.779187161650043e-05
605 2.7389629394747317e-05
606 2.699817378015723e-05
607 2.6608631742419675e-05
608 2.6226987756672315e-05
609 2.5850169549812563e-05
610 2.5480478143435903e-05
611 2.5111119612120092e-05
612 2.475313340255525e-05
613 2.4395421860390343e-05
614 2.4044305973802693e-05
615 2.3700260499026626e-05
616 2.3359260012512095e-05
617 2.302240682183765e-05
618 2.2691870981361717e-05
619 2.2366202756529674e-05
620 2.2044800061848946e-05
621 2.1727622879552655e-05
622 2.1414625734905712e-05
623 2.110603600158356e-05
624 2.08063156605931e-05
625 2.050584225798957e-05
626 2.0211475202813745e-05
627 1.991975659620948e-05
628 1.9634024283732288e-05
629 1.9352144590811804e-05
630 1.9073571820626967e-05
631 1.879953924799338e-05
632 1.8529242879594676e-05
633 1.826264451665338e-05
634 1.7999947885982692e-05
635 1.7743321222951636e-05
636 1.7487805962446146e-05
637 1.7234629922313616e-05
638 1.6988087736535817e-05
639 1.6743322703405283e-05
640 1.6502695871167816e-05
641 1.6263580619124696e-05
642 1.6030860933824442e-05
643 1.5802359484951012e-05
644 1.557321047584992e-05
645 1.5349374734796584e-05
646 1.5129424355109222e-05
647 1.4913752238499e-05
648 1.4697846381750423e-05
649 1.4488603483187035e-05
650 1.4277788977778982e-05
651 1.4072007616050541e-05
652 1.387031443300657e-05
653 1.3672230124939233e-05
654 1.3474927982315421e-05
655 1.3282664440339431e-05
656 1.3091782420815434e-05
657 1.2902281014248729e-05
658 1.2717689060082193e-05
659 1.2533392691693734e-05
660 1.2354532373137772e-05
661 1.2177968528703786e-05
662 1.2000866263406351e-05
663 1.1828258720925078e-05
664 1.1658689800242428e-05
665 1.1491524674056564e-05
666 1.1325766536174342e-05
667 1.116431758418912e-05
668 1.1003836334566586e-05
669 1.0845472388609778e-05
670 1.0688639122236054e-05
671 1.0537286470935214e-05
672 1.0384017514297739e-05
673 1.0235219633614179e-05
674 1.0089337592944503e-05
675 9.943957593350206e-06
676 9.800540283322334e-06
677 9.660696377977729e-06
678 9.519704690319486e-06
679 9.38313314691186e-06
680 9.247722118743695e-06
681 9.116281944443472e-06
682 8.985782187664881e-06
683 8.856051863403991e-06
684 8.729494766157586e-06
685 8.604191862104926e-06
686 8.478442396153696e-06
687 8.357480510312598e-06
688 8.237389010901097e-06
689 8.11816607892979e-06
690 8.002115464478265e-06
691 7.88689976616297e-06
692 7.774142432026565e-06
693 7.662999450985808e-06
694 7.552657280029962e-06
695 7.443434242304647e-06
696 7.335792361118365e-06
697 7.230029041238595e-06
698 7.127827302610967e-06
699 7.024658771115355e-06
700 6.923772616573842e-06
701 6.823616786277853e-06
702 6.725395451212535e-06
703 6.62848424326512e-06
704 6.533763553306926e-06
705 6.4397249843750615e-06
706 6.3475386014033575e-06
707 6.2558729041484185e-06
708 6.167181709315628e-06
709 6.077835678297561e-06
710 5.991275884298375e-06
711 5.904347744944971e-06
712 5.820440037496155e-06
713 5.735739250667393e-06
714 5.654010692524025e-06
715 5.572592272073962e-06
716 5.491629053722136e-06
717 5.413693543232512e-06
718 5.336044978321297e-06
719 5.259092176856939e-06
720 5.1837573664670344e-06
721 5.108570803713519e-06
722 5.035368758399272e-06
723 4.963473202224122e-06
724 4.89286412630463e-06
725 4.8219967538898345e-06
726 4.751646429212997e-06
727 4.6830723476887215e-06
728 4.615619673131732e-06
729 4.550515768642072e-06
730 4.484642431634711e-06
731 4.420718596520601e-06
732 4.356038971309317e-06
733 4.294486188882729e-06
734 4.2325341382820625e-06
735 4.172220087639289e-06
736 4.111867838219041e-06
737 4.052423264511162e-06
738 3.994804501417093e-06
739 3.9375986489176285e-06
740 3.8810353544249665e-06
741 3.824539817287587e-06
742 3.7704905935243005e-06
743 3.7159300063649425e-06
744 3.6623221149056917e-06
745 3.609326313380734e-06
746 3.5584696433943463e-06
747 3.507103656374966e-06
748 3.4568679438962135e-06
749 3.405920551813324e-06
750 3.357163450345979e-06
751 3.3097080631705467e-06
752 3.261646725150058e-06
753 3.214667003703653e-06
754 3.1688553008279996e-06
755 3.1234744710673112e-06
756 3.0782182420807658e-06
757 3.0341020647028927e-06
758 2.990606390085304e-06
759 2.9479226668627234e-06
760 2.9046555027889553e-06
761 2.863280542442226e-06
762 2.8224960715306224e-06
763 2.7816165584226837e-06
764 2.7419002890383126e-06
765 2.701610810618149e-06
766 2.663327222762746e-06
767 2.625787146826042e-06
768 2.587298695289064e-06
769 2.550486897234805e-06
770 2.5130163976427866e-06
771 2.476738927725819e-06
772 2.4418143311777385e-06
773 2.4067771846603137e-06
774 2.3719044293102343e-06
775 2.3384407086268766e-06
776 2.304686177012627e-06
777 2.271177208967856e-06
778 2.23930464926525e-06
779 2.206276121796691e-06
780 2.1752066459157504e-06
781 2.143932533726911e-06
782 2.1124633349245414e-06
783 2.0829033928748686e-06
784 2.0520521957223536e-06
785 2.0229194888088387e-06
786 1.994160356844077e-06
787 1.964791636055452e-06
788 1.937500655913027e-06
789 1.9091160083917202e-06
790 1.882136757558328e-06
791 1.85440035238571e-06
792 1.8284401903656544e-06
793 1.8014154647971736e-06
794 1.775830241967924e-06
795 1.7509669305582065e-06
796 1.7252871202799724e-06
797 1.7001752894429956e-06
798 1.6764508927735733e-06
799 1.6518486063432647e-06
800 1.628614427318098e-06
801 1.6047345070546726e-06
802 1.5821999568288447e-06
803 1.558882104291115e-06
804 1.536242280053557e-06
805 1.5146963505685562e-06
806 1.4923807611921802e-06
807 1.4711458788951859e-06
808 1.4499939879897283e-06
809 1.429203848601901e-06
810 1.4085640032135416e-06
811 1.38855398290616e-06
812 1.368210860164254e-06
813 1.3488272543327184e-06
814 1.3292476523929508e-06
815 1.3103431228955742e-06
816 1.2913756108900998e-06
817 1.272678218811052e-06
818 1.2546377092803596e-06
819 1.236209300259361e-06
820 1.2193927432235796e-06
821 1.2012258139293408e-06
822 1.1841439118143171e-06
823 1.1672468644974288e-06
824 1.150347088696435e-06
825 1.1336321676935768e-06
826 1.1175309282407397e-06
827 1.101484258470009e-06
828 1.0855535492737545e-06
829 1.0697390280256514e-06
830 1.0545177246967796e-06
831 1.039524704538053e-06
832 1.024462335408316e-06
833 1.010035020954092e-06
834 9.955945188266924e-07
835 9.810280516830971e-07
836 9.66854031503317e-07
837 9.527270776743535e-07
838 9.392101674166042e-07
839 9.258469617634546e-07
840 9.124676694227674e-07
841 8.989111393020721e-07
842 8.86549059941899e-07
843 8.738923611417704e-07
844 8.610039117229462e-07
845 8.48906495320989e-07
846 8.368950261683494e-07
847 8.245468166023784e-07
848 8.128145054797642e-07
849 8.011664363039017e-07
850 7.894473128544632e-07
851 7.783785918036301e-07
852 7.668279522476951e-07
853 7.558694505860331e-07
854 7.450394718944153e-07
855 7.344868322434195e-07
856 7.241581556627352e-07
857 7.135100190680532e-07
858 7.031838435977988e-07
859 6.930784479663998e-07
860 6.833827228547307e-07
861 6.733740178788139e-07
862 6.633434281866357e-07
863 6.542345545312855e-07
864 6.447692157962592e-07
865 6.356497692650009e-07
866 6.263658178795595e-07
867 6.171501922835887e-07
868 6.083203629714262e-07
869 5.995541982883879e-07
870 5.91074524436408e-07
871 5.824338700222143e-07
872 5.742090820604062e-07
873 5.659992439177586e-07
874 5.578486366175639e-07
875 5.497998358805489e-07
876 5.421093192126136e-07
877 5.341331075214839e-07
878 5.265533218334895e-07
879 5.186516318644863e-07
880 5.111826908432704e-07
881 5.040570272285549e-07
882 4.966943834006088e-07
883 4.896708105661673e-07
884 4.826972599403234e-07
885 4.75773731523077e-07
886 4.689002253144281e-07
887 4.620767413143767e-07
888 4.555780037662771e-07
889 4.4885251782034175e-07
890 4.424477992870379e-07
891 4.362044023764611e-07
892 4.2989086068701e-07
893 4.2362336216683616e-07
894 4.174019068159396e-07
895 4.1152458152282634e-07
896 4.057633873344457e-07
897 3.9996893974603154e-07
898 3.9388805816997774e-07
899 3.8872281038493384e-07
900 3.82836333301384e-07
901 3.771731371671194e-07
902 3.7165887079027016e-07
903 3.6653568713518325e-07
904 3.6134434822088224e-07
905 3.5612021065389854e-07
906 3.509342718643893e-07
907 3.461284450168023e-07
908 3.4098212609023903e-07
909 3.362451934663113e-07
910 3.31173225731618e-07
911 3.2623984225210734e-07
912 3.217710968783649e-07
913 3.1730093041915097e-07
914 3.127320269413758e-07
915 3.081643171753967e-07
916 3.0356551405930077e-07
917 2.992240411003877e-07
918 2.951665578621032e-07
919 2.90979926376167e-07
920 2.865743340407789e-07
921 2.8235655236130697e-07
922 2.784770458674757e-07
923 2.743195182119962e-07
924 2.702840902202297e-07
925 2.666384375515918e-07
926 2.6286875254299957e-07
927 2.5882991394610144e-07
928 2.553509261815634e-07
929 2.5163336658806656e-07
930 2.482031504769111e-07
931 2.444801907586225e-07
932 2.410993147350382e-07
933 2.3743024257782963e-07
934 2.3407079652315588e-07
935 2.3067900656315032e-07
936 2.2758945306122769e-07
937 2.2408062250178773e-07
938 2.2084424244894763e-07
939 2.176048496949079e-07
940 2.1452325427162577e-07
941 2.1154420437596855e-07
942 2.0837393321926356e-07
943 2.0535873090921086e-07
944 2.0244425513737951e-07
945 1.9973253984062467e-07
946 1.9657477423606906e-07
947 1.9390273564567906e-07
948 1.9107102389170905e-07
949 1.8843684301828034e-07
950 1.8562064951765933e-07
951 1.8294963410880882e-07
952 1.803721829674032e-07
953 1.7764142512533e-07
954 1.752721914272115e-07
955 1.7287061382376123e-07
956 1.7017333675539703e-07
957 1.6785458001322695e-07
958 1.6519720702490304e-07
959 1.6291278370772488e-07
960 1.6066729813246639e-07
961 1.5818318388483021e-07
962 1.559478732815478e-07
963 1.537284788355464e-07
964 1.5152500054682605e-07
965 1.4933743841538671e-07
966 1.471657924412284e-07
967 1.4523180880132713e-07
968 1.4304600881587248e-07
969 1.4096491440795944e-07
970 1.3896311656935723e-07
971 1.371913640468847e-07
972 1.3493945516529493e-07
973 1.331935095549852e-07
974 1.3114305374983815e-07
975 1.2915120350953657e-07
976 1.2740088095597457e-07
977 1.2553988426589058e-07
978 1.236926436831709e-07
979 1.2202127663840656e-07
980 1.2020018402836286e-07
981 1.1855269121952006e-07
982 1.1675774658215232e-07
983 1.1513412800923106e-07
984 1.133653313445393e-07
985 1.1196016203030013e-07
986 1.1019733392458875e-07
987 1.0861987220778246e-07
988 1.0720600585045759e-07
989 1.0549939588599955e-07
990 1.0408763273517252e-07
991 1.0255507731926627e-07
992 1.0116332305187825e-07
993 9.963400771084707e-08
994 9.811651580093894e-08
995 9.666518963058479e-08
996 9.554742064210586e-08
997 9.411473911313806e-08
998 9.263999345421325e-08
999 9.131736078415997e-08
w =  1.9997987747192383
b =  0.0004574097110889852
y_pred =  tensor([[7.9997]])