Files already downloaded and verified
You are going to run models on the test set. Are you sure?
Files already downloaded and verified
layer_blocks.0.0.weight
layer_blocks.0.0.bias
layer_blocks.0.1.weight
layer_blocks.0.1.bias
layer_blocks.1.0.weight
layer_blocks.1.0.bias
layer_blocks.1.1.weight
layer_blocks.1.1.bias
layer_blocks.2.0.weight
layer_blocks.2.0.bias
layer_blocks.2.1.weight
layer_blocks.2.1.bias
layer_blocks.2.2.weight
layer_blocks.2.2.bias
layer_blocks.3.0.weight
layer_blocks.3.0.bias
layer_blocks.3.1.weight
layer_blocks.3.1.bias
layer_blocks.3.2.weight
layer_blocks.3.2.bias
layer_blocks.4.0.weight
layer_blocks.4.0.bias
layer_blocks.4.1.weight
layer_blocks.4.1.bias
layer_blocks.4.2.weight
layer_blocks.4.2.bias
classifier.1.weight
classifier.1.bias
classifier.4.weight
classifier.4.bias
classifier.6.weight
classifier.6.bias
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
   1     0.1000     2.2523    14.4420     2.2501    15.0200    15.4068      0.9252
   2     0.1000     2.0832    19.2780     2.0664    19.9100    13.5822      0.8789
   3     0.1000     1.9856    21.0220     1.9508    22.2500    13.7027      0.8397
   4     0.1000     1.8248    27.1240     1.7754    28.1000    13.5893      0.8048
   5     0.1000     1.7406    31.4340     1.6785    32.8900    13.6062      0.7729
   6     0.1000     1.6241    36.5940     1.6007    37.6800    13.6436      0.7434
   7     0.1000     1.5101    41.3860     1.4748    42.8400    13.5546      0.7157
   8     0.1000     1.4132    45.1760     1.3985    45.4700    13.4867      0.6895
   9     0.1000     1.3143    52.2960     1.2710    53.1500    13.6345      0.6648
  10     0.1000     1.2645    53.2880     1.2647    53.4300    13.5812      0.6414
  11     0.1000     1.0881    61.4220     1.0843    61.0000    13.6833      0.6192
  12     0.1000     0.9601    65.7840     0.9638    65.8600    13.4496      0.5981
  13     0.1000     0.9629    66.4240     0.9493    66.2100    13.4669      0.5779
  14     0.1000     0.9486    66.2780     0.9625    66.4400    13.5459      0.5585
  15     0.1000     0.8858    68.8220     0.9295    67.3000    13.5406      0.5399
  16     0.1000     0.7711    72.8440     0.8136    71.5900    13.5892      0.5222
  17     0.1000     0.7342    74.4340     0.7710    73.2700    13.5399      0.5053
  18     0.1000     0.7779    74.1140     0.8682    72.1300    13.6090      0.4890
  19     0.1000     0.5944    79.8140     0.6601    77.9900    13.6758      0.4734
  20     0.1000     0.6957    77.0340     0.7495    75.8700    13.4415      0.4584
  21     0.1000     0.5652    80.9580     0.6459    78.8600    13.5589      0.4439
  22     0.1000     0.5994    80.3140     0.6780    78.1400    13.4406      0.4301
  23     0.1000     0.5695    80.7460     0.6804    78.1700    13.5537      0.4167
  24     0.1000     0.5070    82.9560     0.6307    80.2300    13.6468      0.4040
  25     0.1000     0.5040    83.4600     0.6171    80.4200    13.5867      0.3916
  26     0.1000     0.4487    85.1440     0.5692    82.1800    13.4465      0.3797
  27     0.1000     0.5887    80.7600     0.6976    78.2800    13.8631      0.3683
  28     0.1000     0.4206    85.9340     0.5803    82.4300    13.4144      0.3573
  29     0.1000     0.3720    87.6120     0.5223    83.5900    13.5830      0.3467
  30     0.1000     0.4874    84.4280     0.6527    80.8600    13.4734      0.3364
  31     0.1000     0.3504    88.4100     0.5263    83.6000    13.4389      0.3266
  32     0.1000     0.3340    88.8900     0.5184    83.9000    13.3986      0.3172
  33     0.1000     0.3372    88.8260     0.5419    83.5500    13.5325      0.3081
  34     0.1000     0.3052    89.7900     0.5066    84.6000    13.5100      0.2992
  35     0.1000     0.3174    89.4520     0.5504    83.7500    13.4978      0.2907
  36     0.1000     0.3519    88.5320     0.5857    83.2000    13.4881      0.2826
  37     0.1000     0.2958    90.1860     0.5396    84.6100    13.6275      0.2747
  38     0.1000     0.2887    90.6280     0.5287    84.3100    13.6190      0.2671
  39     0.1000     0.2833    90.5320     0.5228    84.9600    13.5978      0.2598
  40     0.1000     0.2547    91.3980     0.5224    85.1200    13.4455      0.2529
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  41     0.1000     0.2899    90.5800     0.5248    84.5000    13.6117      0.2461
  42     0.1000     0.2512    91.7580     0.5326    84.7100    13.6741      0.2395
  43     0.1000     0.2391    92.1160     0.5204    85.4100    13.4320      0.2332
  44     0.1000     0.4001    87.3420     0.6697    81.3400    13.5657      0.2271
  45     0.1000     0.1990    93.4400     0.5036    86.2400    13.5757      0.2212
  46     0.1000     0.1987    93.4720     0.4898    86.0800    13.7321      0.2155
  47     0.1000     0.2345    92.3000     0.5447    84.6600    13.4293      0.2101
  48     0.1000     0.1814    94.0960     0.4756    86.6200    13.6826      0.2048
  49     0.1000     0.2154    93.0520     0.5219    85.5600    13.4383      0.1997
  50     0.1000     0.2133    93.0280     0.5595    85.2200    13.5693      0.1948
  51     0.1000     0.1969    93.6460     0.5174    86.0400    13.5262      0.1901
  52     0.1000     0.1829    93.9640     0.5027    86.5200    13.6388      0.1855
  53     0.1000     0.1854    93.8120     0.5278    85.9500    13.4521      0.1811
  54     0.1000     0.1665    94.4060     0.5186    86.0900    13.4923      0.1768
  55     0.1000     0.2024    93.3740     0.5383    85.3000    13.7751      0.1726
  56     0.1000     0.1691    94.3920     0.5012    86.3900    13.4450      0.1686
  57     0.1000     0.2043    93.3900     0.5822    85.6500    13.6427      0.1647
  58     0.1000     0.1396    95.4220     0.5175    86.1600    13.4656      0.1609
  59     0.1000     0.1739    94.2700     0.5280    86.2100    13.6527      0.1574
  60     0.1000     0.1338    95.6660     0.5133    86.8100    13.6529      0.1539
  61     0.1000     0.1686    94.4420     0.5624    85.8700    13.5309      0.1505
  62     0.1000     0.1290    95.6960     0.5203    86.9800    13.6227      0.1473
  63     0.1000     0.1377    95.5080     0.5474    86.5200    13.5235      0.1442
  64     0.1000     0.1259    95.7740     0.5435    86.9100    13.5961      0.1411
  65     0.1000     0.1273    95.8340     0.5147    86.6800    13.4532      0.1381
  66     0.1000     0.1358    95.4880     0.5542    86.1500    13.6986      0.1353
  67     0.1000     0.1313    95.5320     0.5592    86.2700    13.6724      0.1325
  68     0.1000     0.1254    95.9260     0.5456    86.8300    13.4995      0.1298
  69     0.1000     0.1489    95.2480     0.5825    85.8600    13.4779      0.1272
  70     0.1000     0.1034    96.7040     0.5387    87.0900    13.6688      0.1247
  71     0.1000     0.1186    95.9940     0.5250    87.4200    13.4246      0.1222
  72     0.1000     0.0949    96.9040     0.5452    87.1900    13.7362      0.1199
  73     0.1000     0.1859    94.0720     0.5618    85.4500    13.5010      0.1176
  74     0.1000     0.1702    94.8680     0.6126    86.2400    13.4197      0.1155
  75     0.1000     0.1055    96.4980     0.5265    87.3500    13.6233      0.1134
  76     0.1000     0.1806    94.6960     0.6356    85.3500    13.5490      0.1113
  77     0.1000     0.0901    97.0380     0.5512    87.4400    13.6192      0.1093
  78     0.1000     0.0900    97.0040     0.5502    87.0000    13.6788      0.1073
  79     0.1000     0.1064    96.5440     0.5737    86.8000    13.5990      0.1055
  80     0.1000     0.0833    97.2940     0.5489    87.5400    13.5179      0.1036
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  81     0.1000     0.0912    96.9480     0.5631    87.5000    13.5934      0.1019
  82     0.1000     0.0931    96.8340     0.5670    87.5000    13.6283      0.1002
  83     0.1000     0.0806    97.2800     0.5560    87.4500    13.5365      0.0986
  84     0.1000     0.0671    97.7700     0.5610    88.0200    13.5636      0.0970
  85     0.1000     0.0724    97.6740     0.5558    87.6100    13.4870      0.0955
  86     0.1000     0.1564    95.1680     0.6114    86.1000    13.3671      0.0940
  87     0.1000     0.1306    95.8280     0.6400    86.0500    13.5117      0.0926
  88     0.1000     0.0829    97.3080     0.5624    87.7100    13.4255      0.0912
  89     0.1000     0.0859    97.0960     0.6146    86.9400    13.5831      0.0899
  90     0.1000     0.0883    97.0680     0.5867    87.3700    13.6734      0.0886
  91     0.1000     0.0624    97.9200     0.5609    87.7500    13.6189      0.0873
  92     0.1000     0.0558    98.1580     0.5396    88.2600    13.5572      0.0861
  93     0.1000     0.0863    97.2660     0.5992    86.6000    13.5675      0.0850
  94     0.1000     0.0857    97.1460     0.5802    86.9800    13.6126      0.0838
  95     0.1000     0.0721    97.7360     0.5841    87.5400    13.5718      0.0827
  96     0.1000     0.0581    98.1000     0.5513    87.9800    13.5195      0.0817
  97     0.1000     0.1465    95.6620     0.7049    85.9200    13.4874      0.0806
  98     0.1000     0.0503    98.2960     0.5559    88.0400    13.4801      0.0796
  99     0.1000     0.0855    97.1140     0.5670    87.4100    13.7003      0.0786
 100     0.1000     0.0576    98.0460     0.5514    88.2100    13.6419      0.0777
 101     0.1000     0.0479    98.4440     0.5896    88.2600    13.4425      0.0768
 102     0.1000     0.0581    98.0760     0.5886    87.5600    13.6659      0.0759
 103     0.1000     0.0656    97.8820     0.5813    87.9000    13.6636      0.0750
 104     0.1000     0.0489    98.4200     0.5262    88.3300    13.6991      0.0741
 105     0.1000     0.0938    96.9900     0.6247    86.9500    13.7174      0.0733
 106     0.1000     0.0684    97.8300     0.5759    87.1900    13.5556      0.0725
 107     0.1000     0.0406    98.6400     0.5540    88.1600    13.4725      0.0717
 108     0.1000     0.0437    98.5600     0.5675    88.0800    13.6754      0.0710
 109     0.1000     0.0534    98.2260     0.5778    88.3300    13.4925      0.0703
 110     0.1000     0.0528    98.2780     0.6054    87.6900    13.5012      0.0696
 111     0.1000     0.0639    97.9500     0.6028    87.8100    13.7258      0.0689
 112     0.1000     0.0444    98.5900     0.5815    88.2500    13.5715      0.0682
 113     0.1000     0.0443    98.4980     0.5931    88.0500    13.5768      0.0676
 114     0.1000     0.0651    97.9400     0.6082    87.7600    13.5603      0.0670
 115     0.1000     0.0448    98.5280     0.5767    88.0200    13.5258      0.0663
 116     0.1000     0.0660    97.7620     0.6078    87.5000    13.4748      0.0658
 117     0.1000     0.0548    98.2140     0.5555    88.1800    13.4921      0.0652
 118     0.1000     0.0513    98.2880     0.6036    88.4100    13.4672      0.0646
 119     0.1000     0.0723    97.6740     0.6060    87.5400    13.5646      0.0641
 120     0.1000     0.0464    98.4680     0.5752    88.0200    13.5426      0.0635
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 121     0.1000     0.0442    98.5300     0.6311    87.9600    13.6935      0.0630
 122     0.1000     0.0817    97.3960     0.6381    87.2700    13.7024      0.0625
 123     0.1000     0.0531    98.3060     0.6200    87.7500    13.5840      0.0620
 124     0.1000     0.0686    97.7220     0.6131    86.9500    13.5639      0.0616
 125     0.1000     0.0574    98.1480     0.5837    88.1700    13.5077      0.0611
 126     0.1000     0.0361    98.7900     0.5460    88.3900    13.5220      0.0606
 127     0.1000     0.0436    98.5440     0.6010    88.1900    13.4706      0.0602
 128     0.1000     0.0508    98.3260     0.5857    87.7300    13.5336      0.0598
 129     0.1000     0.0340    98.9120     0.6055    88.5600    13.5668      0.0594
 130     0.1000     0.0640    97.9780     0.6880    87.3300    13.6859      0.0590
 131     0.1000     0.0556    98.2060     0.6297    87.9800    13.3950      0.0586
 132     0.1000     0.0374    98.7700     0.5767    88.5000    13.6231      0.0582
 133     0.1000     0.0781    97.5320     0.6557    87.0000    13.5986      0.0578
 134     0.1000     0.0466    98.5120     0.6280    88.0300    13.5366      0.0574
 135     0.1000     0.1173    96.5960     0.7442    86.4800    13.7334      0.0570
 136     0.1000     0.0367    98.7860     0.6102    87.9700    13.5567      0.0567
 137     0.1000     0.1168    97.0220     0.7436    86.4500    13.5935      0.0563
 138     0.1000     0.1006    97.1540     0.6809    86.9200    13.4571      0.0559
 139     0.1000     0.0464    98.5640     0.5973    88.1200    13.6350      0.0556
 140     0.1000     0.0446    98.5160     0.6007    87.6700    13.4961      0.0553
 141     0.1000     0.0425    98.6460     0.6120    88.2300    13.5281      0.0550
 142     0.1000     0.0606    98.1860     0.5124    87.6900    13.6925      0.0548
 143     0.1000     0.0443    98.5040     0.5925    88.0800    13.5971      0.0546
 144     0.1000     0.0418    98.6760     0.6310    88.3400    13.5783      0.0543
 145     0.1000     0.0412    98.7380     0.5955    88.0200    13.5403      0.0540
 146     0.1000     0.0334    98.9600     0.6421    88.6500    13.6024      0.0538
 147     0.1000     0.0457    98.5460     0.6605    87.7700    13.5738      0.0535
 148     0.1000     0.0574    98.2100     0.6682    88.2000    13.5821      0.0532
 149     0.1000     0.0317    99.0240     0.6194    88.4400    14.1664      0.0529
 150     0.1000     0.0227    99.2420     0.5978    88.4900    13.5222      0.0527
 151     0.1000     0.0322    98.9460     0.6223    88.2700    13.4682      0.0524
 152     0.1000     0.0398    98.7720     0.5450    88.5800    13.5993      0.0522
 153     0.1000     0.0362    98.8280     0.5783    88.5200    13.5706      0.0519
 154     0.1000     0.0407    98.6800     0.6455    88.4600    13.4950      0.0517
 155     0.1000     0.0384    98.7880     0.6043    88.1500    13.5277      0.0514
 156     0.1000     0.0688    97.8960     0.6861    87.1600    13.8918      0.0512
 157     0.1000     0.0269    99.1180     0.6357    88.4900    13.6241      0.0509
 158     0.1000     0.0303    98.9920     0.6251    88.2500    13.5621      0.0507
 159     0.1000     0.0249    99.2060     0.6301    88.5700    13.6202      0.0505
 160     0.1000     0.0232    99.2300     0.6390    88.5100    13.5234      0.0502
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 161     0.1000     0.0223    99.2940     0.5549    89.0600    13.4311      0.0500
 162     0.1000     0.0359    98.9180     0.6525    88.3600    13.5984      0.0498
 163     0.1000     0.0284    99.0800     0.6025    88.4400    13.4624      0.0496
 164     0.1000     0.0466    98.4640     0.6934    87.5600    13.5851      0.0494
 165     0.1000     0.0258    99.1860     0.6137    88.8000    13.5482      0.0492
 166     0.1000     0.0394    98.7960     0.6429    88.1800    13.5567      0.0490
 167     0.1000     0.0921    97.2320     0.7055    87.2000    13.5271      0.0488
 168     0.1000     0.0277    99.1060     0.6247    88.2900    13.4702      0.0487
 169     0.1000     0.0287    99.0700     0.6299    87.9400    13.4697      0.0485
 170     0.1000     0.0366    98.8260     0.6294    88.2400    13.5697      0.0483
 171     0.1000     0.0298    99.0480     0.6244    88.4700    13.6801      0.0481
 172     0.1000     0.0277    99.0960     0.6084    88.3900    13.5850      0.0479
 173     0.1000     0.0281    99.1040     0.5962    88.1900    13.4968      0.0477
 174     0.1000     0.0295    99.0220     0.6636    88.6400    13.6361      0.0476
 175     0.1000     0.0322    98.9320     0.6563    87.9100    13.4840      0.0474
 176     0.1000     0.0864    97.3940     0.7013    86.8700    13.6395      0.0472
 177     0.1000     0.0271    99.1060     0.6464    88.6300    13.6279      0.0470
 178     0.1000     0.0408    98.7140     0.6237    88.2400    13.6723      0.0469
 179     0.1000     0.0199    99.3680     0.5984    88.6200    13.5691      0.0467
 180     0.1000     0.0259    99.1960     0.6286    88.4600    13.6438      0.0466
 181     0.1000     0.0196    99.3340     0.6370    88.8300    13.5956      0.0464
 182     0.1000     0.0219    99.2860     0.6126    88.7000    13.6232      0.0462
 183     0.1000     0.0254    99.1620     0.6073    88.6600    13.8499      0.0461
 184     0.1000     0.0374    98.7680     0.6257    88.5000    13.7704      0.0459
 185     0.1000     0.0273    99.1200     0.6143    88.6500    13.4853      0.0458
 186     0.1000     0.0325    98.9640     0.6421    88.2600    13.5583      0.0457
 187     0.1000     0.0273    99.1080     0.6016    89.0500    13.4906      0.0455
 188     0.1000     0.0336    98.9620     0.6910    88.0200    13.4725      0.0454
 189     0.1000     0.0444    98.6580     0.6530    88.0400    13.5571      0.0452
 190     0.1000     0.0308    99.0460     0.6255    88.3400    13.6495      0.0450
 191     0.1000     0.0256    99.1040     0.6833    88.2600    13.6417      0.0449
 192     0.1000     0.0252    99.2140     0.6567    89.0200    13.6446      0.0448
 193     0.1000     0.0272    99.1320     0.6112    88.8400    13.4953      0.0446
 194     0.1000     0.0210    99.3060     0.6146    89.0500    13.4717      0.0445
 195     0.1000     0.0317    99.0320     0.6076    88.3900    13.5276      0.0444
 196     0.1000     0.0315    98.9800     0.6302    88.0900    13.7246      0.0443
 197     0.1000     0.0313    98.9740     0.6383    88.4500    13.5994      0.0442
 198     0.1000     0.0299    99.0600     0.6319    88.6600    13.5329      0.0441
 199     0.1000     0.0270    99.0620     0.6476    88.8400    13.6256      0.0439
 200     0.1000     0.0235    99.2120     0.6248    88.7800    13.4491      0.0438
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 201     0.1000     0.0243    99.2020     0.6153    88.8300    13.6387      0.0437
 202     0.1000     0.0261    99.1200     0.6070    88.5900    13.4500      0.0436
 203     0.1000     0.0200    99.3840     0.5723    89.3500    13.4626      0.0434
 204     0.1000     0.0284    99.0620     0.6710    88.7800    13.6585      0.0433
 205     0.1000     0.0317    99.0080     0.6631    88.0500    13.8748      0.0432
 206     0.1000     0.0245    99.1780     0.6553    88.7800    13.5020      0.0430
 207     0.1000     0.0200    99.3340     0.6414    88.9200    13.5214      0.0429
 208     0.1000     0.0312    98.9660     0.6577    88.4500    13.6059      0.0429
 209     0.1000     0.0294    99.0860     0.6465    88.5900    13.7333      0.0428
 210     0.1000     0.0361    98.8600     0.6251    88.2600    13.5887      0.0426
 211     0.1000     0.0179    99.4600     0.6155    88.9900    13.6622      0.0426
 212     0.1000     0.0209    99.3020     0.6367    89.0400    13.6851      0.0425
 213     0.1000     0.0194    99.3500     0.6259    88.6400    13.5774      0.0424
 214     0.1000     0.0196    99.3580     0.6436    88.6300    13.4697      0.0422
 215     0.1000     0.0198    99.3260     0.6415    88.8900    13.7141      0.0421
 216     0.1000     0.0195    99.3980     0.6318    88.9400    13.6751      0.0420
 217     0.1000     0.0251    99.1720     0.6147    88.4500    13.5504      0.0419
 218     0.1000     0.0182    99.3860     0.6269    88.6900    13.4725      0.0418
 219     0.1000     0.0313    98.9920     0.6605    88.4300    13.5454      0.0417
 220     0.1000     0.0209    99.3160     0.6311    88.7000    13.5159      0.0416
 221     0.1000     0.0217    99.3160     0.6453    88.7500    13.5271      0.0415
 222     0.1000     0.0171    99.4480     0.6389    88.8500    13.5017      0.0414
 223     0.1000     0.0313    98.9980     0.6616    88.3900    13.6375      0.0414
 224     0.1000     0.0220    99.2740     0.6370    88.9000    13.5257      0.0413
 225     0.1000     0.0474    98.4480     0.6852    87.8400    13.6671      0.0412
 226     0.1000     0.0203    99.3320     0.6306    88.8000    13.4824      0.0411
 227     0.1000     0.0411    98.7500     0.6639    87.9100    13.5078      0.0410
 228     0.1000     0.0374    98.8800     0.6518    88.1300    13.5618      0.0409
 229     0.1000     0.0190    99.3660     0.6489    88.9300    13.6499      0.0408
 230     0.1000     0.0233    99.2200     0.6754    88.4000    13.5234      0.0407
 231     0.1000     0.0227    99.2960     0.6333    88.7800    13.4918      0.0406
 232     0.1000     0.0156    99.4640     0.6306    88.7900    13.6265      0.0406
 233     0.1000     0.0177    99.4660     0.6241    89.0500    13.7341      0.0405
 234     0.1000     0.0152    99.5500     0.6588    88.8500    13.5644      0.0404
 235     0.1000     0.0211    99.3240     0.6394    89.0700    13.6002      0.0403
 236     0.1000     0.0163    99.4240     0.6059    89.0400    13.7099      0.0403
 237     0.1000     0.0252    99.1820     0.7055    88.3900    13.5700      0.0402
 238     0.1000     0.0178    99.3920     0.6459    88.9600    13.6187      0.0401
 239     0.1000     0.0212    99.3220     0.6492    89.0900    13.4698      0.0400
 240     0.1000     0.0206    99.3720     0.6092    88.9400    13.7380      0.0399
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 241     0.1000     0.0149    99.5040     0.6519    89.0300    13.4861      0.0399
 242     0.1000     0.0265    99.1520     0.6800    88.4800    13.5061      0.0398
 243     0.1000     0.0177    99.4440     0.6544    88.8700    13.4842      0.0397
 244     0.1000     0.0285    99.1100     0.6605    88.5100    13.6023      0.0396
 245     0.1000     0.0155    99.5160     0.6305    88.8500    13.6277      0.0395
 246     0.1000     0.0216    99.3240     0.6793    88.9300    13.5728      0.0394
 247     0.1000     0.0246    99.2460     0.6611    89.0000    13.6530      0.0394
 248     0.1000     0.0623    98.2360     0.7436    87.7700    13.4436      0.0393
 249     0.1000     0.0227    99.2480     0.6828    88.4800    13.6220      0.0392
 250     0.1000     0.0294    99.0980     0.6911    88.5700    13.3794      0.0391
 251     0.1000     0.0246    99.2180     0.6672    88.6700    13.4798      0.0390
 252     0.1000     0.0136    99.5580     0.6707    89.2300    13.5033      0.0390
 253     0.1000     0.0167    99.4360     0.6355    88.7500    13.5383      0.0389
 254     0.1000     0.0509    98.4280     0.7042    87.7100    13.5087      0.0389
 255     0.1000     0.0228    99.2920     0.6265    88.9200    13.5504      0.0388
 256     0.1000        nan    10.0000        nan    10.0000    13.5445      0.6349
 257     0.1000        nan    10.0000        nan    10.0000    13.4042      0.6348
 258     0.1000        nan    10.0000        nan    10.0000    13.7043      0.6347
 259     0.1000        nan    10.0000        nan    10.0000    13.5574      0.6346
 260     0.1000        nan    10.0000        nan    10.0000    13.7941      0.6345
 261     0.1000        nan    10.0000        nan    10.0000    13.5910      0.6344
 262     0.1000        nan    10.0000        nan    10.0000    13.7528      0.6343
 263     0.1000        nan    10.0000        nan    10.0000    13.4546      0.6343
 264     0.1000        nan    10.0000        nan    10.0000    13.6454      0.6342
 265     0.1000        nan    10.0000        nan    10.0000    13.7299      0.6341
 266     0.1000        nan    10.0000        nan    10.0000    13.5052      0.6340
 267     0.1000        nan    10.0000        nan    10.0000    13.6128      0.6339
 268     0.1000        nan    10.0000        nan    10.0000    13.4744      0.6338
 269     0.1000        nan    10.0000        nan    10.0000    13.4979      0.6337
 270     0.1000        nan    10.0000        nan    10.0000    13.7865      0.6336
 271     0.1000        nan    10.0000        nan    10.0000    13.6593      0.6335
 272     0.1000        nan    10.0000        nan    10.0000    13.6101      0.6334
 273     0.1000        nan    10.0000        nan    10.0000    13.5629      0.6333
 274     0.1000        nan    10.0000        nan    10.0000    13.3780      0.6332
 275     0.1000        nan    10.0000        nan    10.0000    13.5722      0.6331
 276     0.1000        nan    10.0000        nan    10.0000    13.7397      0.6330
 277     0.1000        nan    10.0000        nan    10.0000    13.4469      0.6329
 278     0.1000        nan    10.0000        nan    10.0000    13.6463      0.6328
 279     0.1000        nan    10.0000        nan    10.0000    13.6598      0.6328
 280     0.1000        nan    10.0000        nan    10.0000    13.5764      0.6327
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 281     0.1000        nan    10.0000        nan    10.0000    13.6026      0.6326
 282     0.1000        nan    10.0000        nan    10.0000    13.5144      0.6325
 283     0.1000        nan    10.0000        nan    10.0000    13.6048      0.6324
 284     0.1000        nan    10.0000        nan    10.0000    13.4674      0.6323
 285     0.1000        nan    10.0000        nan    10.0000    13.5758      0.6322
 286     0.1000        nan    10.0000        nan    10.0000    13.4161      0.6322
 287     0.1000        nan    10.0000        nan    10.0000    13.4884      0.6321
 288     0.1000        nan    10.0000        nan    10.0000    13.5137      0.6320
 289     0.1000        nan    10.0000        nan    10.0000    13.5161      0.6319
 290     0.1000        nan    10.0000        nan    10.0000    13.5392      0.6318
 291     0.1000        nan    10.0000        nan    10.0000    13.5504      0.6317
 292     0.1000        nan    10.0000        nan    10.0000    13.5757      0.6316
 293     0.1000        nan    10.0000        nan    10.0000    13.7357      0.6316
 294     0.1000        nan    10.0000        nan    10.0000    13.6046      0.6315
 295     0.1000        nan    10.0000        nan    10.0000    13.5314      0.6314
 296     0.1000        nan    10.0000        nan    10.0000    13.5606      0.6313
 297     0.1000        nan    10.0000        nan    10.0000    13.5021      0.6312
 298     0.1000        nan    10.0000        nan    10.0000    13.5502      0.6311
 299     0.1000        nan    10.0000        nan    10.0000    13.5162      0.6311
 300     0.1000        nan    10.0000        nan    10.0000    13.5923      0.6310
 301     0.0996        nan    10.0000        nan    10.0000    13.4561      0.6309
 302     0.0992        nan    10.0000        nan    10.0000    13.5439      0.6308
 303     0.0988        nan    10.0000        nan    10.0000    13.6461      0.6307
 304     0.0983        nan    10.0000        nan    10.0000    13.4496      0.6307
 305     0.0979        nan    10.0000        nan    10.0000    13.6345      0.6306
 306     0.0975        nan    10.0000        nan    10.0000    13.6813      0.6305
 307     0.0971        nan    10.0000        nan    10.0000    13.6149      0.6304
 308     0.0967        nan    10.0000        nan    10.0000    13.5694      0.6303
 309     0.0963        nan    10.0000        nan    10.0000    13.5506      0.6303
 310     0.0959        nan    10.0000        nan    10.0000    13.5870      0.6302
 311     0.0955        nan    10.0000        nan    10.0000    13.8516      0.6301
 312     0.0950        nan    10.0000        nan    10.0000    13.6533      0.6300
 313     0.0946        nan    10.0000        nan    10.0000    13.6623      0.6300
 314     0.0942        nan    10.0000        nan    10.0000    13.6424      0.6299
 315     0.0938        nan    10.0000        nan    10.0000    13.4777      0.6298
 316     0.0934        nan    10.0000        nan    10.0000    13.4777      0.6298
 317     0.0930        nan    10.0000        nan    10.0000    13.5812      0.6297
 318     0.0926        nan    10.0000        nan    10.0000    13.6892      0.6296
 319     0.0922        nan    10.0000        nan    10.0000    13.5511      0.6296
 320     0.0917        nan    10.0000        nan    10.0000    13.6724      0.6295
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 321     0.0913        nan    10.0000        nan    10.0000    13.5194      0.6294
 322     0.0909        nan    10.0000        nan    10.0000    13.6270      0.6294
 323     0.0905        nan    10.0000        nan    10.0000    13.4965      0.6293
 324     0.0901        nan    10.0000        nan    10.0000    13.7140      0.6292
 325     0.0897        nan    10.0000        nan    10.0000    13.5965      0.6292
 326     0.0893        nan    10.0000        nan    10.0000    13.4681      0.6291
 327     0.0889        nan    10.0000        nan    10.0000    13.5599      0.6290
 328     0.0885        nan    10.0000        nan    10.0000    13.6442      0.6290
 329     0.0880        nan    10.0000        nan    10.0000    13.4339      0.6289
 330     0.0876        nan    10.0000        nan    10.0000    13.4683      0.6288
 331     0.0872        nan    10.0000        nan    10.0000    13.4349      0.6288
 332     0.0868        nan    10.0000        nan    10.0000    13.5413      0.6287
 333     0.0864        nan    10.0000        nan    10.0000    13.8215      0.6287
 334     0.0860        nan    10.0000        nan    10.0000    13.5387      0.6286
 335     0.0856        nan    10.0000        nan    10.0000    13.4638      0.6285
 336     0.0852        nan    10.0000        nan    10.0000    13.4807      0.6285
 337     0.0847        nan    10.0000        nan    10.0000    13.4896      0.6284
 338     0.0843        nan    10.0000        nan    10.0000    13.7116      0.6284
 339     0.0839        nan    10.0000        nan    10.0000    13.4923      0.6283
 340     0.0835        nan    10.0000        nan    10.0000    13.4987      0.6283
 341     0.0831        nan    10.0000        nan    10.0000    13.7814      0.6282
 342     0.0827        nan    10.0000        nan    10.0000    13.5782      0.6282
 343     0.0823        nan    10.0000        nan    10.0000    13.5222      0.6281
 344     0.0818        nan    10.0000        nan    10.0000    13.7557      0.6281
 345     0.0814        nan    10.0000        nan    10.0000    13.3657      0.6280
 346     0.0810        nan    10.0000        nan    10.0000    13.5727      0.6280
 347     0.0806        nan    10.0000        nan    10.0000    13.5971      0.6279
 348     0.0802        nan    10.0000        nan    10.0000    13.4291      0.6279
 349     0.0798        nan    10.0000        nan    10.0000    13.5288      0.6278
 350     0.0794        nan    10.0000        nan    10.0000    13.5272      0.6278
 351     0.0790        nan    10.0000        nan    10.0000    13.5997      0.6277
 352     0.0786        nan    10.0000        nan    10.0000    13.5781      0.6277
 353     0.0781        nan    10.0000        nan    10.0000    13.4747      0.6276
 354     0.0777        nan    10.0000        nan    10.0000    13.5400      0.6276
 355     0.0773        nan    10.0000        nan    10.0000    13.3846      0.6275
 356     0.0769        nan    10.0000        nan    10.0000    13.6742      0.6275
 357     0.0765        nan    10.0000        nan    10.0000    13.9724      0.6274
 358     0.0761        nan    10.0000        nan    10.0000    13.4840      0.6274
 359     0.0757        nan    10.0000        nan    10.0000    13.6045      0.6273
 360     0.0753        nan    10.0000        nan    10.0000    13.4421      0.6273
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 361     0.0748        nan    10.0000        nan    10.0000    13.6118      0.6272
 362     0.0744        nan    10.0000        nan    10.0000    13.5503      0.6272
 363     0.0740        nan    10.0000        nan    10.0000    13.6090      0.6271
 364     0.0736        nan    10.0000        nan    10.0000    13.5948      0.6271
 365     0.0732        nan    10.0000        nan    10.0000    13.5501      0.6271
 366     0.0728        nan    10.0000        nan    10.0000    13.5979      0.6270
 367     0.0724        nan    10.0000        nan    10.0000    13.5446      0.6270
 368     0.0720        nan    10.0000        nan    10.0000    13.5383      0.6269
 369     0.0715        nan    10.0000        nan    10.0000    13.5500      0.6269
 370     0.0711        nan    10.0000        nan    10.0000    13.5374      0.6268
 371     0.0707        nan    10.0000        nan    10.0000    13.6035      0.6268
 372     0.0703        nan    10.0000        nan    10.0000    13.5249      0.6268
 373     0.0699        nan    10.0000        nan    10.0000    13.5717      0.6267
 374     0.0695        nan    10.0000        nan    10.0000    13.6086      0.6267
 375     0.0691        nan    10.0000        nan    10.0000    13.6033      0.6266
 376     0.0686        nan    10.0000        nan    10.0000    13.5157      0.6266
 377     0.0682        nan    10.0000        nan    10.0000    13.8279      0.6266
 378     0.0678        nan    10.0000        nan    10.0000    13.4628      0.6265
 379     0.0674        nan    10.0000        nan    10.0000    13.5707      0.6265
 380     0.0670        nan    10.0000        nan    10.0000    13.4790      0.6265
 381     0.0666        nan    10.0000        nan    10.0000    13.5701      0.6264
 382     0.0662        nan    10.0000        nan    10.0000    13.5058      0.6264
 383     0.0658        nan    10.0000        nan    10.0000    13.5885      0.6263
 384     0.0654        nan    10.0000        nan    10.0000    13.4956      0.6263
 385     0.0649        nan    10.0000        nan    10.0000    13.4990      0.6263
 386     0.0645        nan    10.0000        nan    10.0000    13.4893      0.6262
 387     0.0641        nan    10.0000        nan    10.0000    13.5239      0.6262
 388     0.0637        nan    10.0000        nan    10.0000    13.5459      0.6262
 389     0.0633        nan    10.0000        nan    10.0000    13.7895      0.6262
 390     0.0629        nan    10.0000        nan    10.0000    13.6051      0.6261
 391     0.0625        nan    10.0000        nan    10.0000    13.5396      0.6261
 392     0.0621        nan    10.0000        nan    10.0000    13.4756      0.6261
 393     0.0616        nan    10.0000        nan    10.0000    13.5759      0.6260
 394     0.0612        nan    10.0000        nan    10.0000    13.6154      0.6260
 395     0.0608        nan    10.0000        nan    10.0000    13.6204      0.6260
 396     0.0604        nan    10.0000        nan    10.0000    13.4869      0.6259
 397     0.0600        nan    10.0000        nan    10.0000    13.5784      0.6259
 398     0.0596        nan    10.0000        nan    10.0000    13.4384      0.6259
 399     0.0592        nan    10.0000        nan    10.0000    13.8395      0.6258
 400     0.0588        nan    10.0000        nan    10.0000    13.6110      0.6258
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 401     0.0583        nan    10.0000        nan    10.0000    13.5602      0.6258
 402     0.0579        nan    10.0000        nan    10.0000    13.5424      0.6258
 403     0.0575        nan    10.0000        nan    10.0000    13.5660      0.6257
 404     0.0571        nan    10.0000        nan    10.0000    13.4903      0.6257
 405     0.0567        nan    10.0000        nan    10.0000    13.6451      0.6257
 406     0.0563        nan    10.0000        nan    10.0000    13.4721      0.6256
 407     0.0559        nan    10.0000        nan    10.0000    13.6445      0.6256
 408     0.0554        nan    10.0000        nan    10.0000    13.6689      0.6256
 409     0.0550        nan    10.0000        nan    10.0000    13.6217      0.6256
 410     0.0546        nan    10.0000        nan    10.0000    13.5867      0.6255
 411     0.0542        nan    10.0000        nan    10.0000    13.6831      0.6255
 412     0.0538        nan    10.0000        nan    10.0000    13.5515      0.6255
 413     0.0534        nan    10.0000        nan    10.0000    13.6259      0.6255
 414     0.0530        nan    10.0000        nan    10.0000    13.6042      0.6254
 415     0.0526        nan    10.0000        nan    10.0000    13.5280      0.6254
 416     0.0522        nan    10.0000        nan    10.0000    13.5203      0.6254
 417     0.0517        nan    10.0000        nan    10.0000    13.7520      0.6254
 418     0.0513        nan    10.0000        nan    10.0000    13.5478      0.6253
 419     0.0509        nan    10.0000        nan    10.0000    13.7019      0.6253
 420     0.0505        nan    10.0000        nan    10.0000    13.6179      0.6253
 421     0.0501        nan    10.0000        nan    10.0000    13.4901      0.6253
 422     0.0497        nan    10.0000        nan    10.0000    13.5759      0.6253
 423     0.0493        nan    10.0000        nan    10.0000    13.5550      0.6252
 424     0.0489        nan    10.0000        nan    10.0000    13.4859      0.6252
 425     0.0484        nan    10.0000        nan    10.0000    13.6652      0.6252
 426     0.0480        nan    10.0000        nan    10.0000    13.6221      0.6252
 427     0.0476        nan    10.0000        nan    10.0000    13.5508      0.6251
 428     0.0472        nan    10.0000        nan    10.0000    13.5634      0.6251
 429     0.0468        nan    10.0000        nan    10.0000    13.4790      0.6251
 430     0.0464        nan    10.0000        nan    10.0000    13.7078      0.6251
 431     0.0460        nan    10.0000        nan    10.0000    13.6407      0.6251
 432     0.0456        nan    10.0000        nan    10.0000    13.7334      0.6250
 433     0.0451        nan    10.0000        nan    10.0000    13.6625      0.6250
 434     0.0447        nan    10.0000        nan    10.0000    13.6766      0.6250
 435     0.0443        nan    10.0000        nan    10.0000    13.5493      0.6250
 436     0.0439        nan    10.0000        nan    10.0000    13.5051      0.6250
 437     0.0435        nan    10.0000        nan    10.0000    13.6104      0.6249
 438     0.0431        nan    10.0000        nan    10.0000    13.5317      0.6249
 439     0.0427        nan    10.0000        nan    10.0000    13.4587      0.6249
 440     0.0423        nan    10.0000        nan    10.0000    13.5293      0.6249
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 441     0.0418        nan    10.0000        nan    10.0000    13.5061      0.6249
 442     0.0414        nan    10.0000        nan    10.0000    13.3851      0.6249
 443     0.0410        nan    10.0000        nan    10.0000    13.5588      0.6248
 444     0.0406        nan    10.0000        nan    10.0000    13.6446      0.6248
 445     0.0402        nan    10.0000        nan    10.0000    13.5428      0.6248
 446     0.0398        nan    10.0000        nan    10.0000    13.6099      0.6248
 447     0.0394        nan    10.0000        nan    10.0000    13.5363      0.6248
 448     0.0389        nan    10.0000        nan    10.0000    13.6560      0.6248
 449     0.0385        nan    10.0000        nan    10.0000    13.5818      0.6247
 450     0.0381        nan    10.0000        nan    10.0000    13.6356      0.6247
 451     0.0377        nan    10.0000        nan    10.0000    13.5559      0.6247
 452     0.0373        nan    10.0000        nan    10.0000    13.6830      0.6247
 453     0.0369        nan    10.0000        nan    10.0000    13.5776      0.6247
 454     0.0365        nan    10.0000        nan    10.0000    13.5906      0.6247
 455     0.0361        nan    10.0000        nan    10.0000    13.6729      0.6247
 456     0.0357        nan    10.0000        nan    10.0000    13.6933      0.6246
 457     0.0352        nan    10.0000        nan    10.0000    13.4433      0.6246
 458     0.0348        nan    10.0000        nan    10.0000    13.5856      0.6246
 459     0.0344        nan    10.0000        nan    10.0000    13.5664      0.6246
 460     0.0340        nan    10.0000        nan    10.0000    13.6853      0.6246
 461     0.0336        nan    10.0000        nan    10.0000    13.6358      0.6246
 462     0.0332        nan    10.0000        nan    10.0000    13.5784      0.6246
 463     0.0328        nan    10.0000        nan    10.0000    13.5707      0.6246
 464     0.0324        nan    10.0000        nan    10.0000    13.7131      0.6245
 465     0.0319        nan    10.0000        nan    10.0000    13.5564      0.6245
 466     0.0315        nan    10.0000        nan    10.0000    13.5183      0.6245
 467     0.0311        nan    10.0000        nan    10.0000    13.6469      0.6245
 468     0.0307        nan    10.0000        nan    10.0000    13.4687      0.6245
 469     0.0303        nan    10.0000        nan    10.0000    13.7300      0.6245
 470     0.0299        nan    10.0000        nan    10.0000    13.7957      0.6245
 471     0.0295        nan    10.0000        nan    10.0000    13.5845      0.6245
 472     0.0291        nan    10.0000        nan    10.0000    13.4490      0.6245
 473     0.0286        nan    10.0000        nan    10.0000    13.5655      0.6244
 474     0.0282        nan    10.0000        nan    10.0000    13.6397      0.6244
 475     0.0278        nan    10.0000        nan    10.0000    13.4289      0.6244
 476     0.0274        nan    10.0000        nan    10.0000    13.5576      0.6244
 477     0.0270        nan    10.0000        nan    10.0000    13.6265      0.6244
 478     0.0266        nan    10.0000        nan    10.0000    13.7763      0.6244
 479     0.0262        nan    10.0000        nan    10.0000    13.5903      0.6244
 480     0.0257        nan    10.0000        nan    10.0000    13.6136      0.6244
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 481     0.0253        nan    10.0000        nan    10.0000    13.6067      0.6244
 482     0.0249        nan    10.0000        nan    10.0000    13.6292      0.6244
 483     0.0245        nan    10.0000        nan    10.0000    13.5884      0.6244
 484     0.0241        nan    10.0000        nan    10.0000    13.6243      0.6243
 485     0.0237        nan    10.0000        nan    10.0000    13.5177      0.6243
 486     0.0233        nan    10.0000        nan    10.0000    13.5208      0.6243
 487     0.0229        nan    10.0000        nan    10.0000    13.6173      0.6243
 488     0.0225        nan    10.0000        nan    10.0000    13.4724      0.6243
 489     0.0220        nan    10.0000        nan    10.0000    13.7487      0.6243
 490     0.0216        nan    10.0000        nan    10.0000    13.4783      0.6243
 491     0.0212        nan    10.0000        nan    10.0000    13.6598      0.6243
 492     0.0208        nan    10.0000        nan    10.0000    13.7829      0.6243
 493     0.0204        nan    10.0000        nan    10.0000    13.4596      0.6243
 494     0.0200        nan    10.0000        nan    10.0000    13.5709      0.6243
 495     0.0196        nan    10.0000        nan    10.0000    13.7135      0.6243
 496     0.0192        nan    10.0000        nan    10.0000    13.7481      0.6243
 497     0.0187        nan    10.0000        nan    10.0000    13.5569      0.6243
 498     0.0183        nan    10.0000        nan    10.0000    13.5662      0.6242
 499     0.0179        nan    10.0000        nan    10.0000    13.5398      0.6242
 500     0.0175        nan    10.0000        nan    10.0000    13.6117      0.6242
 501     0.0171        nan    10.0000        nan    10.0000    13.6404      0.6242
 502     0.0167        nan    10.0000        nan    10.0000    13.7140      0.6242
 503     0.0163        nan    10.0000        nan    10.0000    13.5020      0.6242
 504     0.0159        nan    10.0000        nan    10.0000    13.7061      0.6242
 505     0.0154        nan    10.0000        nan    10.0000    13.4861      0.6242
 506     0.0150        nan    10.0000        nan    10.0000    13.6480      0.6242
 507     0.0146        nan    10.0000        nan    10.0000    13.5893      0.6242
 508     0.0142        nan    10.0000        nan    10.0000    13.4252      0.6242
 509     0.0138        nan    10.0000        nan    10.0000    13.4845      0.6242
 510     0.0134        nan    10.0000        nan    10.0000    13.5370      0.6242
 511     0.0130        nan    10.0000        nan    10.0000    13.5732      0.6242
 512     0.0125        nan    10.0000        nan    10.0000    13.6154      0.6242
 513     0.0121        nan    10.0000        nan    10.0000    13.4812      0.6242
 514     0.0117        nan    10.0000        nan    10.0000    13.4984      0.6242
 515     0.0113        nan    10.0000        nan    10.0000    13.6261      0.6242
 516     0.0109        nan    10.0000        nan    10.0000    13.5438      0.6242
 517     0.0105        nan    10.0000        nan    10.0000    13.6411      0.6242
 518     0.0101        nan    10.0000        nan    10.0000    13.5596      0.6242
 519     0.0097        nan    10.0000        nan    10.0000    13.6977      0.6242
 520     0.0092        nan    10.0000        nan    10.0000    13.6043      0.6242
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 521     0.0088        nan    10.0000        nan    10.0000    13.6453      0.6242
 522     0.0084        nan    10.0000        nan    10.0000    13.6868      0.6242
 523     0.0080        nan    10.0000        nan    10.0000    13.5782      0.6241
 524     0.0076        nan    10.0000        nan    10.0000    13.5124      0.6241
 525     0.0072        nan    10.0000        nan    10.0000    13.6906      0.6241
 526     0.0068        nan    10.0000        nan    10.0000    13.5116      0.6241
 527     0.0064        nan    10.0000        nan    10.0000    13.7326      0.6241
 528     0.0060        nan    10.0000        nan    10.0000    13.6553      0.6241
 529     0.0055        nan    10.0000        nan    10.0000    13.6127      0.6241
 530     0.0051        nan    10.0000        nan    10.0000    13.5589      0.6241
 531     0.0047        nan    10.0000        nan    10.0000    13.5573      0.6241
 532     0.0043        nan    10.0000        nan    10.0000    13.6204      0.6241
 533     0.0039        nan    10.0000        nan    10.0000    13.5830      0.6241
 534     0.0035        nan    10.0000        nan    10.0000    13.7508      0.6241
 535     0.0031        nan    10.0000        nan    10.0000    13.5986      0.6241
 536     0.0027        nan    10.0000        nan    10.0000    13.6217      0.6241
 537     0.0022        nan    10.0000        nan    10.0000    13.5667      0.6241
 538     0.0018        nan    10.0000        nan    10.0000    13.5843      0.6241
 539     0.0014        nan    10.0000        nan    10.0000    13.5641      0.6241
 540     0.0010        nan    10.0000        nan    10.0000    13.6682      0.6241
 541     0.0010        nan    10.0000        nan    10.0000    13.6493      0.6241
 542     0.0010        nan    10.0000        nan    10.0000    13.4813      0.6241
 543     0.0010        nan    10.0000        nan    10.0000    13.4518      0.6241
 544     0.0010        nan    10.0000        nan    10.0000    13.6079      0.6241
 545     0.0010        nan    10.0000        nan    10.0000    13.5700      0.6241
 546     0.0010        nan    10.0000        nan    10.0000    13.6947      0.6241
 547     0.0010        nan    10.0000        nan    10.0000    13.5860      0.6241
 548     0.0010        nan    10.0000        nan    10.0000    13.5215      0.6241
 549     0.0010        nan    10.0000        nan    10.0000    13.6728      0.6241
 550     0.0010        nan    10.0000        nan    10.0000    13.5504      0.6241
 551     0.0010        nan    10.0000        nan    10.0000    13.5888      0.6241
 552     0.0010        nan    10.0000        nan    10.0000    13.7895      0.6241
 553     0.0010        nan    10.0000        nan    10.0000    13.6316      0.6241
 554     0.0010        nan    10.0000        nan    10.0000    13.4421      0.6241
 555     0.0010        nan    10.0000        nan    10.0000    13.5377      0.6241
 556     0.0010        nan    10.0000        nan    10.0000    13.6217      0.6241
 557     0.0010        nan    10.0000        nan    10.0000    13.4887      0.6241
 558     0.0010        nan    10.0000        nan    10.0000    13.5913      0.6241
 559     0.0010        nan    10.0000        nan    10.0000    13.4893      0.6241
 560     0.0010        nan    10.0000        nan    10.0000    13.4593      0.6241
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 561     0.0010        nan    10.0000        nan    10.0000    13.4935      0.6241
 562     0.0010        nan    10.0000        nan    10.0000    13.5991      0.6241
 563     0.0010        nan    10.0000        nan    10.0000    13.4837      0.6241
 564     0.0010        nan    10.0000        nan    10.0000    13.6461      0.6241
 565     0.0010        nan    10.0000        nan    10.0000    13.5563      0.6241
 566     0.0010        nan    10.0000        nan    10.0000    13.5324      0.6241
 567     0.0010        nan    10.0000        nan    10.0000    13.6115      0.6241
 568     0.0010        nan    10.0000        nan    10.0000    13.5344      0.6241
 569     0.0010        nan    10.0000        nan    10.0000    13.5500      0.6241
 570     0.0010        nan    10.0000        nan    10.0000    13.5955      0.6241
 571     0.0010        nan    10.0000        nan    10.0000    13.6982      0.6241
 572     0.0010        nan    10.0000        nan    10.0000    13.5142      0.6241
 573     0.0010        nan    10.0000        nan    10.0000    13.7529      0.6241
 574     0.0010        nan    10.0000        nan    10.0000    13.5817      0.6241
 575     0.0010        nan    10.0000        nan    10.0000    13.6012      0.6241
 576     0.0010        nan    10.0000        nan    10.0000    13.5332      0.6241
 577     0.0010        nan    10.0000        nan    10.0000    13.6125      0.6241
 578     0.0010        nan    10.0000        nan    10.0000    13.4716      0.6241
 579     0.0010        nan    10.0000        nan    10.0000    13.7098      0.6241
 580     0.0010        nan    10.0000        nan    10.0000    13.5984      0.6241
 581     0.0010        nan    10.0000        nan    10.0000    13.4811      0.6241
 582     0.0010        nan    10.0000        nan    10.0000    13.5291      0.6241
 583     0.0010        nan    10.0000        nan    10.0000    13.5261      0.6241
 584     0.0010        nan    10.0000        nan    10.0000    13.5940      0.6241
 585     0.0010        nan    10.0000        nan    10.0000    13.4962      0.6241
 586     0.0010        nan    10.0000        nan    10.0000    13.5543      0.6241
 587     0.0010        nan    10.0000        nan    10.0000    13.5105      0.6241
 588     0.0010        nan    10.0000        nan    10.0000    13.6826      0.6241
 589     0.0010        nan    10.0000        nan    10.0000    13.6390      0.6241
 590     0.0010        nan    10.0000        nan    10.0000    13.5594      0.6241
 591     0.0010        nan    10.0000        nan    10.0000    13.6200      0.6241
 592     0.0010        nan    10.0000        nan    10.0000    13.6404      0.6241
 593     0.0010        nan    10.0000        nan    10.0000    13.5478      0.6241
 594     0.0010        nan    10.0000        nan    10.0000    13.7170      0.6241
 595     0.0010        nan    10.0000        nan    10.0000    13.5902      0.6241
 596     0.0010        nan    10.0000        nan    10.0000    13.5574      0.6241
 597     0.0010        nan    10.0000        nan    10.0000    13.5829      0.6241
 598     0.0010        nan    10.0000        nan    10.0000    13.5873      0.6241
 599     0.0010        nan    10.0000        nan    10.0000    13.6037      0.6241
 600     0.0010        nan    10.0000        nan    10.0000    13.6654      0.6241
