Files already downloaded and verified
You are going to run models on the test set. Are you sure?
Files already downloaded and verified
layer_blocks.0.0.weight
layer_blocks.0.0.bias
layer_blocks.0.1.weight
layer_blocks.0.1.bias
layer_blocks.1.0.weight
layer_blocks.1.0.bias
layer_blocks.1.1.weight
layer_blocks.1.1.bias
layer_blocks.2.0.weight
layer_blocks.2.0.bias
layer_blocks.2.1.weight
layer_blocks.2.1.bias
layer_blocks.2.2.weight
layer_blocks.2.2.bias
layer_blocks.3.0.weight
layer_blocks.3.0.bias
layer_blocks.3.1.weight
layer_blocks.3.1.bias
layer_blocks.3.2.weight
layer_blocks.3.2.bias
layer_blocks.4.0.weight
layer_blocks.4.0.bias
layer_blocks.4.1.weight
layer_blocks.4.1.bias
layer_blocks.4.2.weight
layer_blocks.4.2.bias
classifier.1.weight
classifier.1.bias
classifier.4.weight
classifier.4.bias
classifier.6.weight
classifier.6.bias
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
   1     0.1000     2.3382    10.0420     2.3340    10.0900    15.4848      0.9481
   2     0.1000     2.0106    21.0460     1.9966    21.8100    13.2256      0.9215
   3     0.1000     1.7864    29.7460     1.7414    30.2700    13.2908      0.9001
   4     0.1000     1.6361    36.0320     1.6036    37.0500    13.3061      0.8816
   5     0.1000     1.5098    42.9640     1.4712    43.5500    13.1458      0.8649
   6     0.1000     1.4027    47.3700     1.3810    47.0500    13.1887      0.8497
   7     0.1000     1.2956    53.4980     1.2755    53.6100    13.1130      0.8356
   8     0.1000     1.1476    58.8960     1.1269    58.9100    13.1848      0.8224
   9     0.1000     0.9901    64.7560     1.0197    63.9800    13.3609      0.8099
  10     0.1000     0.9262    67.2680     0.9606    66.6200    13.2086      0.7981
  11     0.1000     0.8284    71.1280     0.8319    71.0700    13.2310      0.7868
  12     0.1000     0.7600    73.4280     0.8158    72.2500    13.3528      0.7760
  13     0.1000     0.7334    74.3060     0.7871    73.4100    13.3447      0.7656
  14     0.1000     0.6481    77.4200     0.6900    77.0600    13.1759      0.7557
  15     0.1000     0.7625    74.2580     0.8114    73.3800    13.2789      0.7461
  16     0.1000     0.6018    79.5920     0.6566    78.6200    13.2252      0.7368
  17     0.1000     0.5476    81.4420     0.6111    80.0900    13.4388      0.7277
  18     0.1000     0.5286    81.9980     0.6204    79.5200    13.2457      0.7191
  19     0.1000     0.4837    83.7620     0.5883    80.9200    13.1990      0.7106
  20     0.1000     0.4848    83.7220     0.5989    81.0400    13.3684      0.7024
  21     0.1000     0.4428    84.9780     0.5494    82.3300    13.2143      0.6944
  22     0.1000     0.5666    81.9520     0.6790    79.7000    13.3278      0.6867
  23     0.1000     0.4419    84.8940     0.5802    81.5600    13.0896      0.6792
  24     0.1000     0.3772    87.3300     0.5260    83.3500    13.2810      0.6718
  25     0.1000     0.3888    87.1240     0.5401    82.9900    13.2662      0.6646
  26     0.1000     0.3443    88.4080     0.5211    84.2700    13.2210      0.6576
  27     0.1000     0.3389    88.8180     0.5093    84.3000    13.4353      0.6508
  28     0.1000     0.3445    88.5460     0.5272    83.8900    13.2785      0.6440
  29     0.1000     0.2903    90.2340     0.4844    85.2200    13.1555      0.6374
  30     0.1000     0.3199    89.2560     0.5155    84.6800    13.2994      0.6310
  31     0.1000     0.3356    88.6420     0.5349    83.3100    13.2095      0.6247
  32     0.1000     0.2373    91.9740     0.4620    85.9100    13.0965      0.6187
  33     0.1000     0.2675    90.9360     0.4778    85.5500    13.1130      0.6126
  34     0.1000     0.2694    90.8060     0.5019    85.2300    13.2779      0.6067
  35     0.1000     0.2385    91.8380     0.4728    86.2800    13.0489      0.6010
  36     0.1000     0.2237    92.5980     0.4866    86.6100    13.2371      0.5953
  37     0.1000     0.2182    92.7660     0.4822    85.9700    13.2370      0.5897
  38     0.1000     0.2164    92.6660     0.4813    86.5700    13.1159      0.5842
  39     0.1000     0.1930    93.4900     0.4730    86.3600    13.2451      0.5788
  40     0.1000     0.1807    93.8240     0.4811    86.6200    13.3717      0.5735
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  41     0.1000     0.1822    93.7820     0.4755    86.6300    13.0589      0.5683
  42     0.1000     0.2405    92.1280     0.5525    85.0700    13.3335      0.5632
  43     0.1000     0.1984    93.4240     0.5230    85.8900    13.1267      0.5583
  44     0.1000     0.2330    91.9660     0.5271    85.8000    13.2661      0.5533
  45     0.1000     0.1971    93.6400     0.5119    86.1500    13.1869      0.5485
  46     0.1000     0.1635    94.4540     0.4786    86.9500    13.2997      0.5437
  47     0.1000     0.1876    93.7540     0.5107    86.1200    13.3163      0.5390
  48     0.1000     0.1500    94.8660     0.4976    86.9700    13.1815      0.5344
  49     0.1000     0.1621    94.6660     0.5110    86.8000    13.1901      0.5298
  50     0.1000     0.1438    95.1300     0.4992    87.0200    13.2064      0.5254
  51     0.1000     0.1363    95.4180     0.4785    87.1500    13.2748      0.5210
  52     0.1000     0.1186    96.1240     0.4830    87.2100    13.2105      0.5167
  53     0.1000     0.1275    95.7460     0.5089    87.0900    13.1413      0.5123
  54     0.1000     0.1077    96.4100     0.4622    88.1900    13.2544      0.5081
  55     0.1000     0.1441    94.9560     0.5051    86.8900    13.1098      0.5039
  56     0.1000     0.1242    95.8980     0.5132    87.2300    13.1726      0.4999
  57     0.1000     0.2313    92.7240     0.5950    85.0400    13.1949      0.4958
  58     0.1000     0.1177    96.0600     0.5101    87.3000    13.3764      0.4918
  59     0.1000     0.0928    96.9780     0.4810    87.9800    13.2254      0.4879
  60     0.1000     0.1606    94.7860     0.5694    86.3700    13.2897      0.4841
  61     0.1000     0.1124    96.3160     0.5182    87.6000    13.2198      0.4802
  62     0.1000     0.0995    96.5860     0.5210    87.2800    13.2157      0.4765
  63     0.1000     0.1602    94.7980     0.5537    86.5600    13.2663      0.4727
  64     0.1000     0.0805    97.2800     0.4793    88.5400    13.1895      0.4691
  65     0.1000     0.0933    96.9300     0.5016    88.0100    13.3124      0.4654
  66     0.1000     0.1014    96.6440     0.5295    87.9200    13.2964      0.4619
  67     0.1000     0.1084    96.4240     0.5073    87.3400    13.1696      0.4583
  68     0.1000     0.1011    96.7720     0.5473    87.5800    13.2484      0.4548
  69     0.1000     0.0895    96.9840     0.5379    88.0200    13.3344      0.4514
  70     0.1000     0.0737    97.5820     0.5438    88.1400    13.3331      0.4480
  71     0.1000     0.0722    97.7040     0.5270    88.2100    13.2228      0.4447
  72     0.1000     0.1208    96.3640     0.6058    86.8100    13.4256      0.4414
  73     0.1000     0.0767    97.4100     0.5164    88.3600    13.1719      0.4381
  74     0.1000     0.0600    97.9680     0.4929    88.4500    13.3523      0.4348
  75     0.1000     0.0594    97.9700     0.5068    88.3100    13.2441      0.4316
  76     0.1000     0.0694    97.6720     0.5469    87.9200    13.1527      0.4284
  77     0.1000     0.0755    97.5180     0.5520    88.0200    13.1880      0.4253
  78     0.1000     0.0579    98.1160     0.5439    88.0900    13.1254      0.4223
  79     0.1000     0.0698    97.7220     0.5486    88.2900    13.1494      0.4191
  80     0.1000     0.0675    97.7340     0.5683    88.1400    13.1488      0.4161
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  81     0.1000     0.0558    98.1100     0.5329    88.5100    13.4410      0.4131
  82     0.1000     0.0611    97.9380     0.5312    88.4100    13.1793      0.4101
  83     0.1000     0.0569    98.1040     0.5525    88.5100    13.1332      0.4072
  84     0.1000     0.0646    97.8940     0.5300    88.1200    13.2372      0.4043
  85     0.1000     0.0429    98.5820     0.5366    88.8300    12.9996      0.4015
  86     0.1000     0.0534    98.2040     0.5344    88.3300    13.2960      0.3986
  87     0.1000     0.0538    98.1820     0.5250    88.3600    13.2031      0.3958
  88     0.1000     0.0414    98.5980     0.5547    88.8700    13.2175      0.3930
  89     0.1000     0.0517    98.2480     0.5415    88.5700    13.1897      0.3903
  90     0.1000     0.0699    97.7440     0.5732    87.6900    13.5396      0.3875
  91     0.1000     0.0579    98.1000     0.5448    88.1200    13.1410      0.3849
  92     0.1000     0.0412    98.6240     0.5229    88.8400    13.1388      0.3823
  93     0.1000     0.0392    98.6880     0.5567    88.7600    13.2645      0.3796
  94     0.1000     0.0457    98.5040     0.5408    88.4300    13.1687      0.3770
  95     0.1000     0.0449    98.4980     0.5790    88.5900    13.3820      0.3745
  96     0.1000     0.1695    95.5600     0.7639    85.8500    13.1710      0.3719
  97     0.1000     0.0387    98.7280     0.5394    88.9000    13.2117      0.3694
  98     0.1000     0.0394    98.6520     0.5198    88.7500    13.2261      0.3669
  99     0.1000     0.0448    98.5400     0.5593    88.5600    13.5156      0.3644
 100     0.1000     0.0349    98.8900     0.5363    88.9700    13.2950      0.3619
 101     0.1000     0.0364    98.8200     0.5522    88.5700    13.2696      0.3595
 102     0.1000     0.0325    98.8840     0.5512    88.9400    13.3377      0.3571
 103     0.1000     0.0351    98.8480     0.5574    88.8100    13.1930      0.3547
 104     0.1000     0.0349    98.8860     0.5454    89.0600    13.3480      0.3523
 105     0.1000     0.0341    98.8660     0.5364    89.1400    13.2221      0.3500
 106     0.1000     0.0597    98.1260     0.5923    88.2400    13.8026      0.3476
 107     0.1000     0.0292    98.9740     0.5273    88.8700    13.2594      0.3454
 108     0.1000     0.0301    98.9460     0.5351    89.1100    13.2764      0.3431
 109     0.1000     0.0331    98.9060     0.5643    89.2000    13.2387      0.3409
 110     0.1000     0.0466    98.4480     0.5999    87.9500    13.1427      0.3387
 111     0.1000     0.0290    99.0040     0.5580    88.8500    13.2168      0.3365
 112     0.1000     0.0223    99.2900     0.5495    89.0300    13.1961      0.3344
 113     0.1000     0.0262    99.1180     0.5428    89.2200    13.3605      0.3322
 114     0.1000     0.0375    98.7660     0.5471    88.7800    13.3258      0.3301
 115     0.1000     0.0249    99.1660     0.5503    88.9900    13.2346      0.3280
 116     0.1000     0.0394    98.7760     0.5502    88.5700    13.3461      0.3259
 117     0.1000     0.0260    99.1600     0.5470    89.2800    13.3076      0.3239
 118     0.1000     0.0371    98.7500     0.5918    88.7500    13.1872      0.3218
 119     0.1000     0.0275    99.0960     0.5475    88.9700    13.1399      0.3198
 120     0.1000     0.0245    99.2220     0.5491    89.5400    13.2783      0.3178
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 121     0.1000     0.0279    99.1040     0.5312    88.8800    13.3482      0.3158
 122     0.1000     0.0190    99.3600     0.5395    89.4700    13.3149      0.3138
 123     0.1000     0.0264    99.1480     0.5556    89.1200    13.1575      0.3118
 124     0.1000     0.0263    99.1620     0.5832    89.2700    13.2075      0.3099
 125     0.1000     0.0202    99.3680     0.5533    89.4200    13.1117      0.3080
 126     0.1000     0.0259    99.1260     0.5823    89.0600    13.3071      0.3061
 127     0.1000     0.0242    99.2040     0.5643    89.0100    13.1551      0.3043
 128     0.1000     0.0213    99.2920     0.5544    89.4700    13.2085      0.3024
 129     0.1000     0.0240    99.2400     0.5759    89.3300    13.1505      0.3006
 130     0.1000     0.0349    98.8620     0.6219    88.6800    13.1505      0.2988
 131     0.1000     0.0275    99.0840     0.5607    88.9600    13.4447      0.2970
 132     0.1000     0.0194    99.3660     0.5465    89.2800    13.3015      0.2952
 133     0.1000     0.0222    99.2980     0.5615    89.1500    13.2874      0.2934
 134     0.1000     0.0261    99.1740     0.5641    89.1300    13.1737      0.2917
 135     0.1000     0.0207    99.2980     0.5777    89.1000    13.1960      0.2899
 136     0.1000     0.0216    99.2980     0.5665    89.2400    13.2769      0.2882
 137     0.1000     0.0194    99.3700     0.5822    89.1300    13.1254      0.2865
 138     0.1000     0.0386    98.7400     0.5864    88.2800    13.1120      0.2848
 139     0.1000     0.0259    99.1660     0.5892    89.4000    13.1965      0.2831
 140     0.1000     0.0282    99.1020     0.5748    89.1300    13.2797      0.2814
 141     0.1000     0.0169    99.4740     0.5538    89.4900    13.0819      0.2797
 142     0.1000     0.0203    99.3100     0.5739    89.3800    13.0585      0.2781
 143     0.1000     0.0178    99.4380     0.5668    89.5800    13.2261      0.2765
 144     0.1000     0.0325    98.9140     0.6040    88.5500    13.2378      0.2749
 145     0.1000     0.0217    99.2980     0.5694    89.2900    13.2892      0.2733
 146     0.1000     0.0144    99.5340     0.5609    89.6100    13.2672      0.2717
 147     0.1000     0.0167    99.4440     0.5552    89.6200    13.3950      0.2702
 148     0.1000     0.0184    99.4140     0.5727    89.7100    13.1878      0.2687
 149     0.1000     0.0370    98.7580     0.5986    88.3400    13.2838      0.2671
 150     0.1000     0.0136    99.5420     0.5468    89.5100    13.3847      0.2657
 151     0.1000     0.0523    98.6860     0.6387    88.4200    13.1969      0.2642
 152     0.1000     0.0226    99.3040     0.5922    89.3600    13.1523      0.2626
 153     0.1000     0.0456    98.6040     0.6316    88.4100    13.2990      0.2611
 154     0.1000     0.0207    99.3180     0.5818    89.4000    13.1898      0.2597
 155     0.1000     0.0229    99.2400     0.5770    89.0400    13.1290      0.2583
 156     0.1000     0.0174    99.3880     0.5865    89.1500    13.2590      0.2569
 157     0.1000     0.0196    99.3680     0.5674    89.5500    13.3311      0.2555
 158     0.1000     0.0194    99.4080     0.5813    89.2600    13.1740      0.2541
 159     0.1000     0.0188    99.3780     0.5781    89.5300    13.1338      0.2527
 160     0.1000     0.0154    99.4720     0.5645    89.7900    13.2235      0.2513
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 161     0.1000     0.0172    99.4140     0.5744    89.5900    13.3471      0.2499
 162     0.1000     0.0156    99.5060     0.5342    89.7400    13.0989      0.2486
 163     0.1000     0.0195    99.3820     0.6015    89.3400    13.1284      0.2472
 164     0.1000     0.0208    99.2980     0.6219    89.3200    13.4305      0.2459
 165     0.1000     0.0137    99.5320     0.5974    89.6400    13.2215      0.2446
 166     0.1000     0.0180    99.4220     0.6000    89.6900    13.0675      0.2433
 167     0.1000     0.0176    99.4240     0.5969    89.7000    13.3365      0.2420
 168     0.1000     0.0192    99.3360     0.5738    89.4600    13.2471      0.2407
 169     0.1000     0.0100    99.6480     0.5729    89.8100    13.4096      0.2395
 170     0.1000     0.0180    99.3900     0.5921    89.1500    13.2102      0.2382
 171     0.1000     0.0114    99.6200     0.5826    89.9300    13.1297      0.2369
 172     0.1000     0.0139    99.5440     0.6127    89.7300    13.3183      0.2357
 173     0.1000     0.0205    99.2960     0.6064    89.1600    13.2448      0.2345
 174     0.1000     0.0156    99.4620     0.6218    89.4600    13.2826      0.2332
 175     0.1000     0.0160    99.4940     0.5887    89.6100    13.2555      0.2320
 176     0.1000     0.0129    99.5940     0.5940    89.7900    13.3347      0.2309
 177     0.1000     0.0198    99.3720     0.6129    89.0800    13.3042      0.2297
 178     0.1000     0.0108    99.6720     0.5546    89.6400    13.3665      0.2285
 179     0.1000     0.0111    99.6380     0.5497    89.7900    13.1617      0.2273
 180     0.1000     0.0149    99.4600     0.6160    89.3000    13.3782      0.2262
 181     0.1000     0.0171    99.4120     0.6039    89.5500    13.2771      0.2251
 182     0.1000     0.0154    99.5400     0.5995    89.2000    13.2359      0.2239
 183     0.1000     0.0134    99.5880     0.5848    89.5300    13.2614      0.2228
 184     0.1000     0.0205    99.3360     0.6108    89.2600    13.1150      0.2216
 185     0.1000     0.0194    99.3940     0.5932    89.5400    13.4257      0.2205
 186     0.1000     0.0166    99.4400     0.5958    89.3200    13.0944      0.2195
 187     0.1000     0.0173    99.4400     0.5987    89.5300    13.2768      0.2184
 188     0.1000     0.0206    99.3440     0.5735    89.3000    13.1696      0.2173
 189     0.1000     0.0163    99.4740     0.6165    89.5000    13.2289      0.2163
 190     0.1000     0.0364    98.8760     0.6616    88.5500    13.1738      0.2152
 191     0.1000     0.0296    99.1060     0.6349    89.1600    13.1094      0.2141
 192     0.1000     0.0201    99.3840     0.6176    89.5600    13.0666      0.2131
 193     0.1000     0.0130    99.5680     0.5817    89.8000    13.3002      0.2121
 194     0.1000     0.0161    99.4440     0.6295    89.5700    13.2970      0.2110
 195     0.1000     0.0233    99.2560     0.6328    89.0500    13.2078      0.2100
 196     0.1000     0.0145    99.4860     0.5707    89.7300    13.2400      0.2090
 197     0.1000     0.0116    99.6360     0.6065    89.4000    13.3605      0.2080
 198     0.1000     0.0167    99.4700     0.5914    89.6400    13.3431      0.2070
 199     0.1000     0.0197    99.4040     0.6353    89.6100    13.1956      0.2061
 200     0.1000     0.0132    99.5800     0.5902    89.5400    13.1681      0.2051
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 201     0.1000     0.0236    99.2780     0.6406    89.5400    13.3166      0.2041
 202     0.1000     0.0113    99.6140     0.5943    89.6400    13.2628      0.2032
 203     0.1000     0.0145    99.5400     0.5902    89.2700    13.3744      0.2022
 204     0.1000     0.0187    99.3780     0.6306    89.3100    13.3100      0.2013
 205     0.1000     0.0098    99.7080     0.5842    89.7800    13.1547      0.2003
 206     0.1000     0.0175    99.4240     0.6097    89.2200    13.2499      0.1994
 207     0.1000     0.0183    99.4020     0.6129    89.4100    13.1599      0.1985
 208     0.1000     0.0212    99.3520     0.6479    89.2000    13.2986      0.1977
 209     0.1000     0.0113    99.6460     0.6018    89.7200    13.1835      0.1967
 210     0.1000     0.0108    99.6440     0.5859    89.3300    13.2244      0.1958
 211     0.1000     0.0084    99.7420     0.5725    90.1700    13.2338      0.1949
 212     0.1000     0.0178    99.4180     0.6423    89.4400    13.4021      0.1941
 213     0.1000     0.0104    99.6680     0.6180    89.6600    13.1799      0.1932
 214     0.1000     0.0132    99.5960     0.6082    89.4700    13.1372      0.1923
 215     0.1000     0.0336    98.9820     0.6867    88.4400    13.3349      0.1914
 216     0.1000     0.0108    99.6520     0.5838    89.8200    13.3556      0.1906
 217     0.1000     0.0122    99.6160     0.5953    89.9200    13.2318      0.1898
 218     0.1000     0.0163    99.4600     0.6475    88.9800    13.2758      0.1889
 219     0.1000     0.0110    99.6600     0.5761    89.9400    13.2808      0.1881
 220     0.1000     0.0085    99.6900     0.5683    90.0000    13.2217      0.1872
 221     0.1000     0.0148    99.5280     0.6411    89.0700    13.4545      0.1864
 222     0.1000     0.0087    99.7200     0.5958    89.9600    13.1914      0.1855
 223     0.1000     0.0125    99.6060     0.6097    89.6100    13.2838      0.1848
 224     0.1000     0.0154    99.5180     0.5990    89.6100    13.2929      0.1840
 225     0.1000     0.0119    99.6460     0.6340    89.3700    13.3353      0.1832
 226     0.1000     0.0134    99.5660     0.6454    89.4200    13.4482      0.1824
 227     0.1000     0.0156    99.4980     0.6159    89.2800    13.2960      0.1816
 228     0.1000     0.0174    99.4120     0.6071    89.6700    13.3206      0.1809
 229     0.1000     0.0100    99.6340     0.6060    89.5800    13.1212      0.1801
 230     0.1000     0.0131    99.5680     0.6032    89.2700    13.5231      0.1793
 231     0.1000     0.0097    99.6740     0.6092    89.6000    13.3138      0.1785
 232     0.1000     0.0079    99.7400     0.6256    89.6000    13.2524      0.1778
 233     0.1000     0.0107    99.6420     0.6050    89.5400    13.3741      0.1771
 234     0.1000     0.0890    98.0300     0.8527    87.4400    13.5399      0.1763
 235     0.1000     0.0095    99.7020     0.6076    89.6500    13.2709      0.1756
 236     0.1000     0.0105    99.6460     0.6003    89.8900    13.1443      0.1748
 237     0.1000     0.0091    99.7060     0.6124    89.4900    13.2238      0.1741
 238     0.1000     0.0127    99.5900     0.6178    89.0900    13.0599      0.1734
 239     0.1000     0.0106    99.6660     0.6121    89.5700    13.4974      0.1727
 240     0.1000     0.0127    99.5940     0.6166    89.5500    13.3389      0.1720
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 241     0.1000     0.0087    99.7180     0.6410    89.6500    13.3011      0.1713
 242     0.1000     0.0133    99.5660     0.6300    89.5300    13.2508      0.1706
 243     0.1000     0.0076    99.7580     0.6034    89.7000    13.3137      0.1699
 244     0.1000     0.0079    99.7320     0.6276    89.6600    13.4178      0.1692
 245     0.1000     0.0275    99.2180     0.6586    89.0700    13.2818      0.1685
 246     0.1000     0.0106    99.6560     0.5968    89.4100    13.2446      0.1678
 247     0.1000     0.0102    99.6780     0.6264    89.7500    13.1863      0.1672
 248     0.1000     0.0076    99.7520     0.6079    89.4800    13.3692      0.1665
 249     0.1000     0.0113    99.6360     0.5836    89.7100    13.1678      0.1659
 250     0.1000     0.0085    99.7280     0.6116    89.6000    13.2604      0.1652
 251     0.1000     0.0128    99.5660     0.5909    89.7200    13.2866      0.1646
 252     0.1000     0.0108    99.6660     0.5995    89.5600    13.1922      0.1639
 253     0.1000     0.0089    99.7000     0.6024    89.4900    13.4721      0.1633
 254     0.1000     0.0077    99.7480     0.5894    90.1900    13.1540      0.1626
 255     0.1000     0.0100    99.6680     0.6129    89.5800    13.3266      0.1620
 256     0.1000     0.0087    99.7220     0.6355    89.9200    13.1344      0.1613
 257     0.1000     0.0110    99.6440     0.6221    89.6200    13.2851      0.1607
 258     0.1000     0.0129    99.5480     0.5985    89.7500    13.2611      0.1601
 259     0.1000     0.0060    99.8220     0.6039    89.9600    13.1169      0.1594
 260     0.1000     0.0055    99.8100     0.6072    89.9600    13.2471      0.1589
 261     0.1000     0.0120    99.6380     0.6057    89.3100    13.3579      0.1583
 262     0.1000     0.0098    99.6900     0.6252    89.8100    13.3618      0.1577
 263     0.1000     0.0089    99.7080     0.6054    89.7000    13.2175      0.1571
 264     0.1000     0.0122    99.6020     0.6316    89.0700    13.3097      0.1565
 265     0.1000     0.0122    99.5860     0.5959    89.2100    13.1893      0.1559
 266     0.1000     0.0160    99.5000     0.5959    89.5300    13.1601      0.1554
 267     0.1000     0.0076    99.7520     0.6335    89.7100    13.2110      0.1547
 268     0.1000     0.0125    99.6200     0.6192    89.3100    13.1546      0.1542
 269     0.1000     0.0084    99.7400     0.6194    89.7200    13.3016      0.1537
 270     0.1000     0.0061    99.7780     0.6022    90.1100    13.1760      0.1531
 271     0.1000     0.0105    99.6680     0.6041    89.6500    13.3024      0.1525
 272     0.1000     0.0120    99.6160     0.6261    89.7000    13.2144      0.1519
 273     0.1000     0.0217    99.3320     0.6659    88.9800    13.2382      0.1514
 274     0.1000     0.0079    99.7440     0.5958    89.5000    13.2317      0.1509
 275     0.1000     0.0056    99.8140     0.6311    89.6100    13.3629      0.1504
 276     0.1000     0.0148    99.5160     0.6400    89.2500    13.2973      0.1498
 277     0.1000     0.0087    99.7360     0.5928    90.0600    13.3647      0.1493
 278     0.1000     0.0048    99.8640     0.6043    90.0100    13.1818      0.1487
 279     0.1000     0.0088    99.7160     0.6112    89.5900    13.2214      0.1482
 280     0.1000     0.0071    99.7720     0.6160    89.9200    13.5031      0.1476
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 281     0.1000     0.0110    99.6480     0.6089    89.9100    13.3036      0.1471
 282     0.1000     0.0050    99.8400     0.5652    89.9700    13.1870      0.1466
 283     0.1000     0.0142    99.5660     0.6190    89.4500    13.1771      0.1461
 284     0.1000     0.0113    99.6560     0.6079    89.7800    13.3257      0.1456
 285     0.1000     0.0062    99.8160     0.5845    90.0300    13.1220      0.1451
 286     0.1000     0.0070    99.7560     0.6286    89.9900    13.2034      0.1446
 287     0.1000     0.0073    99.7320     0.6308    89.7800    13.2706      0.1441
 288     0.1000     0.0088    99.7180     0.6209    89.6100    13.1354      0.1436
 289     0.1000     0.0112    99.6060     0.6194    89.7300    13.2472      0.1430
 290     0.1000     0.0103    99.6760     0.6377    89.7000    13.3549      0.1425
 291     0.1000     0.0124    99.5520     0.6156    89.5800    13.1216      0.1421
 292     0.1000     0.0138    99.5460     0.6327    89.3800    13.1176      0.1416
 293     0.1000     0.0094    99.6740     0.5944    89.7000    13.1844      0.1411
 294     0.1000     0.0063    99.8060     0.5937    90.2600    13.3278      0.1406
 295     0.1000     0.0061    99.8140     0.6379    90.1700    13.3389      0.1402
 296     0.1000     0.0064    99.8180     0.5902    90.0900    13.2969      0.1397
 297     0.1000     0.0088    99.7380     0.5902    90.1500    13.1546      0.1392
 298     0.1000     0.0122    99.6340     0.6154    89.3100    13.5080      0.1388
 299     0.1000     0.0172    99.4320     0.6788    89.0700    13.3021      0.1383
 300     0.1000     0.0089    99.7160     0.6084    89.7800    13.1796      0.1379
 301     0.0996     0.0093    99.7000     0.6270    89.6100    13.1665      0.1374
 302     0.0992     0.0092    99.7120     0.6701    89.6900    13.3515      0.1370
 303     0.0988     0.0098    99.6840     0.6387    89.6100    13.3093      0.1365
 304     0.0983     0.0093    99.6700     0.6160    89.7600    13.2906      0.1361
 305     0.0979     0.0043    99.8580     0.6039    90.1900    13.0865      0.1357
 306     0.0975     0.0061    99.7840     0.5935    90.1000    13.2934      0.1353
 307     0.0971     0.0207    99.3380     0.6669    89.0300    13.3191      0.1348
 308     0.0967     0.0046    99.8400     0.6547    89.6400    13.3030      0.1344
 309     0.0963     0.0143    99.5180     0.6557    89.6400    13.3557      0.1340
 310     0.0959     0.0120    99.6240     0.6400    90.0400    13.2456      0.1336
 311     0.0955     0.0057    99.8220     0.6331    90.0700    13.2771      0.1332
 312     0.0950     0.0047    99.8520     0.6162    89.9200    13.1592      0.1327
 313     0.0946     0.0069    99.7640     0.6260    89.7100    13.2192      0.1323
 314     0.0942     0.0046    99.8340     0.6157    90.1300    13.3671      0.1320
 315     0.0938     0.0061    99.8080     0.6306    90.0300    13.3052      0.1316
 316     0.0934     0.0083    99.7360     0.6533    89.8800    13.2094      0.1312
 317     0.0930     0.0137    99.5640     0.6848    89.2600    13.2014      0.1308
 318     0.0926     0.0052    99.8440     0.6077    90.1200    13.2944      0.1305
 319     0.0922     0.0051    99.8460     0.6427    89.8500    13.2363      0.1301
 320     0.0917     0.0052    99.8300     0.6169    90.0500    13.1828      0.1297
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 321     0.0913     0.0048    99.8500     0.6266    89.8100    13.2714      0.1293
 322     0.0909     0.0032    99.9020     0.6210    90.0900    13.2932      0.1289
 323     0.0905     0.0143    99.5340     0.6470    89.4800    13.2730      0.1286
 324     0.0901     0.0126    99.5940     0.6480    89.5500    13.3846      0.1282
 325     0.0897     0.0084    99.7180     0.6538    89.7600    13.2599      0.1279
 326     0.0893     0.0035    99.8800     0.6409    90.1700    13.2504      0.1276
 327     0.0889     0.0073    99.7680     0.6813    89.4700    13.2468      0.1272
 328     0.0885     0.0082    99.7160     0.6410    89.7800    13.3876      0.1269
 329     0.0880     0.0081    99.7480     0.6517    89.9900    13.2801      0.1265
 330     0.0876     0.0048    99.8480     0.6119    90.1100    13.2498      0.1262
 331     0.0872     0.0046    99.8540     0.6408    90.0000    13.2261      0.1258
 332     0.0868     0.0049    99.8240     0.6331    89.8000    13.3474      0.1255
 333     0.0864     0.0046    99.8420     0.6274    90.0000    13.1643      0.1251
 334     0.0860     0.0084    99.7180     0.6507    89.7400    13.2726      0.1248
 335     0.0856     0.0116    99.6320     0.6745    89.6100    13.2761      0.1245
 336     0.0852     0.0050    99.8340     0.6447    90.1200    13.3234      0.1241
 337     0.0847     0.0038    99.8640     0.6478    90.2200    13.2381      0.1238
 338     0.0843     0.0100    99.6900     0.6691    89.7100    13.2612      0.1234
 339     0.0839     0.0035    99.8900     0.6288    90.2600    13.2612      0.1231
 340     0.0835     0.0032    99.8920     0.6194    90.3900    13.1356      0.1228
 341     0.0831     0.0029    99.9040     0.6341    90.4900    13.2012      0.1225
 342     0.0827     0.0049    99.8660     0.7033    90.0700    13.1437      0.1222
 343     0.0823     0.0029    99.9020     0.6845    90.3100    13.2879      0.1219
 344     0.0818     0.0027    99.9220     0.6728    90.2100    13.1549      0.1215
 345     0.0814     0.0037    99.8840     0.6882    90.2700    13.1892      0.1212
 346     0.0810     0.0021    99.9300     0.6713    90.2000    13.2944      0.1209
 347     0.0806     0.0050    99.8280     0.6545    89.8000    13.1326      0.1206
 348     0.0802     0.0023    99.9320     0.6178    90.2100    13.1583      0.1203
 349     0.0798     0.0032    99.9080     0.6474    90.3800    13.2563      0.1200
 350     0.0794     0.0097    99.6940     0.7069    89.8100    13.1766      0.1198
 351     0.0790     0.0041    99.8760     0.6762    89.8700    13.2322      0.1195
 352     0.0786     0.0022    99.9440     0.6330    90.3600    13.2912      0.1192
 353     0.0781     0.0061    99.8120     0.6742    89.8400    13.3607      0.1189
 354     0.0777     0.0038    99.8760     0.6441    90.0100    13.2852      0.1186
 355     0.0773     0.0038    99.8740     0.6433    90.1900    13.2660      0.1183
 356     0.0769     0.0027    99.9120     0.6564    90.4300    13.2323      0.1180
 357     0.0765     0.0040    99.8520     0.6780    90.2400    13.2650      0.1178
 358     0.0761     0.0013    99.9540     0.6544    90.6600    13.2215      0.1175
 359     0.0757     0.0025    99.9180     0.6606    90.5000    13.2786      0.1172
 360     0.0753     0.0028    99.9280     0.6516    90.6200    13.2331      0.1169
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 361     0.0748     0.0061    99.8000     0.7242    90.0500    13.3168      0.1167
 362     0.0744     0.0024    99.9360     0.6526    90.2800    13.1276      0.1164
 363     0.0740     0.0083    99.7760     0.7105    90.0000    13.2310      0.1161
 364     0.0736     0.0021    99.9260     0.6761    90.3100    13.2458      0.1159
 365     0.0732     0.0016    99.9380     0.7035    90.3900    13.3260      0.1156
 366     0.0728     0.0032    99.8920     0.6931    90.2800    13.3235      0.1154
 367     0.0724     0.0033    99.8980     0.7184    90.1900    13.1235      0.1151
 368     0.0720     0.0022    99.9200     0.6828    90.1600    13.1251      0.1149
 369     0.0715     0.0022    99.9180     0.6664    90.3600    13.3492      0.1146
 370     0.0711     0.0023    99.9240     0.6807    90.4100    13.3326      0.1144
 371     0.0707     0.0019    99.9480     0.6669    90.5100    13.2319      0.1141
 372     0.0703     0.0025    99.9120     0.6590    90.6900    13.2352      0.1139
 373     0.0699     0.0028    99.9040     0.6763    90.2700    13.2471      0.1137
 374     0.0695     0.0037    99.8780     0.6935    90.3300    13.1628      0.1134
 375     0.0691     0.0012    99.9560     0.6582    90.6000    13.2789      0.1132
 376     0.0686     0.0017    99.9460     0.6767    90.3900    13.2636      0.1130
 377     0.0682     0.0030    99.8940     0.7150    90.5700    13.1118      0.1127
 378     0.0678     0.0039    99.8900     0.7038    90.1600    13.3295      0.1125
 379     0.0674     0.0030    99.8940     0.7243    90.0300    13.2367      0.1123
 380     0.0670     0.0050    99.8640     0.7433    90.0600    13.1691      0.1121
 381     0.0666     0.0041    99.8680     0.7065    90.0900    13.1934      0.1119
 382     0.0662     0.0018    99.9500     0.6811    90.5300    13.2544      0.1116
 383     0.0658     0.0021    99.9260     0.6886    90.4700    13.2539      0.1114
 384     0.0654     0.0033    99.8980     0.6896    90.3800    13.2951      0.1112
 385     0.0649     0.0025    99.9260     0.7005    90.4300    13.3259      0.1110
 386     0.0645     0.0019    99.9360     0.6844    90.4300    13.1933      0.1108
 387     0.0641     0.0020    99.9240     0.6743    90.2500    13.2678      0.1106
 388     0.0637     0.0024    99.9200     0.6993    90.5400    13.1435      0.1104
 389     0.0633     0.0009    99.9560     0.6678    90.6200    13.3262      0.1102
 390     0.0629     0.0006    99.9840     0.6691    90.5600    13.1316      0.1100
 391     0.0625     0.0023    99.9320     0.6899    90.6000    13.0704      0.1098
 392     0.0621     0.0017    99.9500     0.6567    90.5700    13.2003      0.1096
 393     0.0616     0.0009    99.9700     0.6921    90.5300    13.2790      0.1094
 394     0.0612     0.0006    99.9800     0.6832    90.6500    13.2879      0.1092
 395     0.0608     0.0012    99.9680     0.7045    90.5800    13.3117      0.1090
 396     0.0604     0.0009    99.9740     0.7047    90.7500    13.1737      0.1088
 397     0.0600     0.0011    99.9620     0.7095    90.7000    13.2953      0.1086
 398     0.0596     0.0017    99.9520     0.7469    90.2300    13.2684      0.1084
 399     0.0592     0.0015    99.9480     0.7168    90.1700    13.2092      0.1082
 400     0.0588     0.0014    99.9520     0.7235    90.2900    13.1931      0.1080
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 401     0.0583     0.0011    99.9600     0.7161    90.4800    13.1720      0.1078
 402     0.0579     0.0009    99.9740     0.7180    90.4900    13.3647      0.1076
 403     0.0575     0.0009    99.9720     0.6878    90.4500    13.2868      0.1075
 404     0.0571     0.0012    99.9640     0.7027    90.5100    13.4246      0.1073
 405     0.0567     0.0011    99.9720     0.7095    90.4300    13.3592      0.1071
 406     0.0563     0.0016    99.9440     0.7143    90.3600    13.3654      0.1069
 407     0.0559     0.0008    99.9820     0.6853    90.4800    13.2028      0.1068
 408     0.0554     0.0010    99.9620     0.6964    90.8500    13.2334      0.1066
 409     0.0550     0.0015    99.9500     0.7203    90.5000    13.0743      0.1064
 410     0.0546     0.0019    99.9400     0.7027    90.5800    13.2616      0.1063
 411     0.0542     0.0010    99.9600     0.6970    90.6600    13.2034      0.1061
 412     0.0538     0.0016    99.9360     0.7050    90.5000    13.2658      0.1059
 413     0.0534     0.0018    99.9500     0.6924    90.7100    13.3049      0.1058
 414     0.0530     0.0012    99.9700     0.6909    90.6700    13.2065      0.1056
 415     0.0526     0.0005    99.9840     0.7022    90.8100    13.3374      0.1055
 416     0.0522     0.0020    99.9420     0.7073    90.3800    13.2756      0.1053
 417     0.0517     0.0005    99.9800     0.7093    90.7100    13.2556      0.1052
 418     0.0513     0.0004    99.9900     0.7273    90.5900    13.2112      0.1050
 419     0.0509     0.0009    99.9780     0.7223    90.5500    13.2449      0.1049
 420     0.0505     0.0009    99.9760     0.7211    90.7200    13.2353      0.1047
 421     0.0501     0.0006    99.9820     0.7333    90.4800    13.2427      0.1046
 422     0.0497     0.0007    99.9680     0.7329    90.7500    13.2925      0.1044
 423     0.0493     0.0006    99.9780     0.7216    90.5100    13.3957      0.1043
 424     0.0489     0.0004    99.9920     0.7419    90.5300    13.3755      0.1041
 425     0.0484     0.0004    99.9900     0.7335    90.6500    13.1250      0.1040
 426     0.0480     0.0005    99.9900     0.7307    90.8500    13.2317      0.1038
 427     0.0476     0.0005    99.9840     0.7140    90.8900    13.3216      0.1037
 428     0.0472     0.0002    99.9980     0.7162    90.6100    13.3826      0.1035
 429     0.0468     0.0004    99.9900     0.7151    90.7700    13.1602      0.1034
 430     0.0464     0.0005    99.9880     0.7234    90.7200    13.2293      0.1033
 431     0.0460     0.0005    99.9920     0.7190    90.8000    13.3572      0.1032
 432     0.0456     0.0003    99.9880     0.7325    90.7600    13.2398      0.1030
 433     0.0451     0.0004    99.9860     0.7230    90.6700    13.2589      0.1029
 434     0.0447     0.0003    99.9900     0.7231    90.8800    13.1948      0.1027
 435     0.0443     0.0003    99.9940     0.7259    90.7700    13.2991      0.1026
 436     0.0439     0.0004    99.9900     0.7140    90.6900    13.1355      0.1025
 437     0.0435     0.0008    99.9760     0.7267    90.6000    13.2245      0.1024
 438     0.0431     0.0005    99.9900     0.7452    90.7100    13.2857      0.1022
 439     0.0427     0.0003    99.9920     0.7212    90.7000    13.2780      0.1021
 440     0.0423     0.0005    99.9800     0.7300    90.6100    13.2185      0.1020
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 441     0.0418     0.0006    99.9780     0.7425    90.5900    13.2864      0.1019
 442     0.0414     0.0003    99.9920     0.7320    90.7900    13.2866      0.1018
 443     0.0410     0.0002    99.9920     0.7410    90.3300    13.1483      0.1016
 444     0.0406     0.0003    99.9940     0.7488    90.6000    13.1404      0.1015
 445     0.0402     0.0006    99.9820     0.7397    90.7500    13.2476      0.1014
 446     0.0398     0.0003    99.9900     0.7220    90.6000    13.3298      0.1013
 447     0.0394     0.0004    99.9940     0.7299    90.7300    13.4877      0.1012
 448     0.0389     0.0003    99.9900     0.7255    90.7000    13.1683      0.1011
 449     0.0385     0.0003    99.9900     0.7204    90.7100    13.2119      0.1010
 450     0.0381     0.0003    99.9920     0.7248    90.7500    13.2432      0.1009
 451     0.0377     0.0023    99.9260     0.7602    90.4900    13.1508      0.1008
 452     0.0373     0.0004    99.9840     0.7358    90.6500    13.1734      0.1007
 453     0.0369     0.0004    99.9940     0.7283    90.6800    13.1631      0.1006
 454     0.0365     0.0003    99.9940     0.7198    90.7000    13.2197      0.1005
 455     0.0361     0.0004    99.9900     0.7210    90.8000    13.1081      0.1004
 456     0.0357     0.0003    99.9880     0.7251    90.6400    13.3459      0.1003
 457     0.0352     0.0003    99.9920     0.7352    90.6700    13.1736      0.1002
 458     0.0348     0.0002    99.9940     0.7291    90.7000    13.1701      0.1001
 459     0.0344     0.0004    99.9920     0.7270    90.5600    13.3538      0.1000
 460     0.0340     0.0002    99.9940     0.7236    90.8800    13.2363      0.0999
 461     0.0336     0.0003    99.9940     0.7417    90.5700    13.2230      0.0998
 462     0.0332     0.0001    99.9960     0.7221    90.7500    13.2708      0.0998
 463     0.0328     0.0001    99.9980     0.7232    90.7000    13.2492      0.0997
 464     0.0324     0.0001    99.9960     0.7288    90.8900    13.2635      0.0996
 465     0.0319     0.0002    99.9960     0.7345    90.8200    13.4826      0.0995
 466     0.0315     0.0002    99.9940     0.7370    90.5400    13.2402      0.0994
 467     0.0311     0.0001    99.9980     0.7247    90.8000    13.3134      0.0993
 468     0.0307     0.0001    99.9960     0.7205    90.9900    13.1324      0.0992
 469     0.0303     0.0003    99.9960     0.7183    90.8400    13.1711      0.0992
 470     0.0299     0.0001   100.0000     0.7190    90.9400    13.2667      0.0991
 471     0.0295     0.0001    99.9960     0.7198    91.0000    13.2395      0.0990
 472     0.0291     0.0002    99.9940     0.7376    90.8400    13.1964      0.0989
 473     0.0286     0.0003    99.9920     0.7252    90.8600    13.2124      0.0989
 474     0.0282     0.0002    99.9940     0.7209    90.9000    13.2001      0.0988
 475     0.0278     0.0002    99.9900     0.7316    90.8700    13.2985      0.0987
 476     0.0274     0.0001    99.9980     0.7227    90.9100    13.3255      0.0986
 477     0.0270     0.0001   100.0000     0.7278    90.9500    13.2698      0.0986
 478     0.0266     0.0001   100.0000     0.7290    90.9100    13.2092      0.0985
 479     0.0262     0.0001   100.0000     0.7325    91.0200    13.3342      0.0984
 480     0.0257     0.0001    99.9980     0.7336    90.9800    13.3516      0.0984
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 481     0.0253     0.0001    99.9980     0.7312    90.8600    13.1854      0.0983
 482     0.0249     0.0002    99.9940     0.7442    90.7900    13.3677      0.0982
 483     0.0245     0.0001   100.0000     0.7328    90.9200    13.3585      0.0982
 484     0.0241     0.0001   100.0000     0.7376    90.9200    13.3644      0.0981
 485     0.0237     0.0003    99.9880     0.7320    91.0500    13.3186      0.0981
 486     0.0233     0.0001    99.9960     0.7285    91.0900    13.3338      0.0980
 487     0.0229     0.0002    99.9920     0.7370    90.7600    13.2223      0.0979
 488     0.0225     0.0001    99.9960     0.7317    90.9000    13.3815      0.0979
 489     0.0220     0.0001   100.0000     0.7279    90.9800    13.2989      0.0978
 490     0.0216     0.0001    99.9980     0.7273    91.0900    13.2344      0.0978
 491     0.0212     0.0001   100.0000     0.7379    90.9800    13.1091      0.0977
 492     0.0208     0.0001    99.9980     0.7340    91.1000    13.3091      0.0977
 493     0.0204     0.0001    99.9980     0.7396    91.0000    13.2594      0.0976
 494     0.0200     0.0002    99.9980     0.7344    90.9700    13.2700      0.0976
 495     0.0196     0.0001    99.9980     0.7401    90.9300    13.4474      0.0975
 496     0.0192     0.0001    99.9980     0.7359    90.9700    13.3065      0.0975
 497     0.0187     0.0001   100.0000     0.7398    91.0900    13.2905      0.0974
 498     0.0183     0.0000   100.0000     0.7412    91.0700    13.3524      0.0974
 499     0.0179     0.0002    99.9960     0.7424    91.0300    13.2892      0.0973
 500     0.0175     0.0001   100.0000     0.7353    91.0100    13.3545      0.0973
 501     0.0171     0.0001    99.9980     0.7336    90.9300    13.2322      0.0972
 502     0.0167     0.0002    99.9920     0.7340    90.8800    13.1920      0.0972
 503     0.0163     0.0001   100.0000     0.7387    90.9300    13.2500      0.0972
 504     0.0159     0.0001    99.9980     0.7389    90.9300    13.3360      0.0971
 505     0.0154     0.0001   100.0000     0.7353    91.0300    13.3438      0.0971
 506     0.0150     0.0001    99.9960     0.7386    91.0400    13.5517      0.0971
 507     0.0146     0.0001   100.0000     0.7411    90.8400    13.1496      0.0970
 508     0.0142     0.0001    99.9980     0.7363    91.0300    13.3954      0.0970
 509     0.0138     0.0001   100.0000     0.7328    90.9600    13.2693      0.0970
 510     0.0134     0.0001    99.9980     0.7350    91.0300    13.2070      0.0969
 511     0.0130     0.0000   100.0000     0.7374    90.9700    13.4341      0.0969
 512     0.0125     0.0001    99.9980     0.7392    91.0700    13.3588      0.0969
 513     0.0121     0.0001    99.9980     0.7349    91.0300    13.3391      0.0968
 514     0.0117     0.0001    99.9980     0.7329    90.9600    13.4787      0.0968
 515     0.0113     0.0001    99.9960     0.7330    90.9600    13.2476      0.0968
 516     0.0109     0.0001    99.9960     0.7328    90.9900    13.2330      0.0968
 517     0.0105     0.0001    99.9980     0.7327    91.0300    13.2411      0.0967
 518     0.0101     0.0000   100.0000     0.7365    91.0800    13.2324      0.0967
 519     0.0097     0.0001   100.0000     0.7377    91.1200    13.3455      0.0967
 520     0.0092     0.0001   100.0000     0.7384    91.0500    13.0924      0.0967
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 521     0.0088     0.0001   100.0000     0.7341    91.0900    13.1982      0.0967
 522     0.0084     0.0000   100.0000     0.7319    90.9500    13.3051      0.0966
 523     0.0080     0.0001    99.9960     0.7330    90.9700    13.1537      0.0966
 524     0.0076     0.0001    99.9980     0.7345    91.0100    13.2997      0.0966
 525     0.0072     0.0001    99.9980     0.7359    91.0000    13.3474      0.0966
 526     0.0068     0.0000   100.0000     0.7367    91.0000    13.1883      0.0966
 527     0.0064     0.0002    99.9960     0.7370    91.0000    13.3031      0.0966
 528     0.0060     0.0001   100.0000     0.7376    91.0500    13.2891      0.0965
 529     0.0055     0.0000   100.0000     0.7356    91.0300    13.2666      0.0965
 530     0.0051     0.0001   100.0000     0.7355    91.0700    13.3359      0.0965
 531     0.0047     0.0000   100.0000     0.7356    91.0500    13.3223      0.0965
 532     0.0043     0.0000   100.0000     0.7354    91.0900    13.2184      0.0965
 533     0.0039     0.0001   100.0000     0.7337    91.0300    13.1721      0.0965
 534     0.0035     0.0000   100.0000     0.7350    91.0300    13.1410      0.0965
 535     0.0031     0.0000   100.0000     0.7352    91.0600    13.1621      0.0965
 536     0.0027     0.0000   100.0000     0.7359    91.0100    13.2462      0.0965
 537     0.0022     0.0001    99.9960     0.7359    91.0400    13.2307      0.0965
 538     0.0018     0.0000   100.0000     0.7355    91.0500    13.3382      0.0965
 539     0.0014     0.0000   100.0000     0.7356    91.0900    13.2069      0.0965
 540     0.0010     0.0000   100.0000     0.7358    91.0600    13.2989      0.0965
 541     0.0010     0.0000   100.0000     0.7357    91.0600    13.2124      0.0965
 542     0.0010     0.0000   100.0000     0.7358    91.0500    13.2125      0.0965
 543     0.0010     0.0001    99.9980     0.7358    91.0500    13.1755      0.0965
 544     0.0010     0.0000   100.0000     0.7360    91.0600    13.1699      0.0965
 545     0.0010     0.0000   100.0000     0.7361    91.0600    13.1407      0.0965
 546     0.0010     0.0001    99.9980     0.7361    91.0700    13.1535      0.0965
 547     0.0010     0.0000   100.0000     0.7362    91.0600    13.2363      0.0965
 548     0.0010     0.0001   100.0000     0.7362    91.0800    13.3733      0.0965
 549     0.0010     0.0001   100.0000     0.7365    91.0800    13.1432      0.0965
 550     0.0010     0.0000   100.0000     0.7366    91.0800    13.2143      0.0965
 551     0.0010     0.0001    99.9980     0.7366    91.1000    13.2191      0.0965
 552     0.0010     0.0000   100.0000     0.7368    91.0900    13.2448      0.0965
 553     0.0010     0.0000   100.0000     0.7369    91.0900    13.2723      0.0965
 554     0.0010     0.0001    99.9980     0.7372    91.0900    13.1139      0.0965
 555     0.0010     0.0000   100.0000     0.7375    91.0900    13.2112      0.0965
 556     0.0010     0.0000   100.0000     0.7376    91.0900    13.2548      0.0965
 557     0.0010     0.0000   100.0000     0.7380    91.1000    13.1961      0.0965
 558     0.0010     0.0001    99.9980     0.7378    91.1200    13.1738      0.0965
 559     0.0010     0.0000   100.0000     0.7381    91.1400    13.2357      0.0965
 560     0.0010     0.0000   100.0000     0.7384    91.1300    13.1811      0.0965
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 561     0.0010     0.0000   100.0000     0.7384    91.1100    13.1271      0.0965
 562     0.0010     0.0000   100.0000     0.7384    91.1100    13.3026      0.0965
 563     0.0010     0.0000   100.0000     0.7383    91.1100    13.4187      0.0965
 564     0.0010     0.0001    99.9980     0.7384    91.1200    13.1643      0.0965
 565     0.0010     0.0001   100.0000     0.7386    91.1100    13.3062      0.0965
 566     0.0010     0.0000   100.0000     0.7386    91.1400    13.2534      0.0965
 567     0.0010     0.0000   100.0000     0.7388    91.1300    13.3862      0.0965
 568     0.0010     0.0000   100.0000     0.7388    91.1300    13.3339      0.0965
 569     0.0010     0.0001    99.9960     0.7389    91.1200    13.4951      0.0965
 570     0.0010     0.0000   100.0000     0.7389    91.1500    13.1795      0.0965
 571     0.0010     0.0001   100.0000     0.7390    91.1400    13.2175      0.0965
 572     0.0010     0.0000   100.0000     0.7393    91.1600    13.3022      0.0965
 573     0.0010     0.0000   100.0000     0.7394    91.1700    13.2330      0.0965
 574     0.0010     0.0001    99.9980     0.7395    91.1600    13.4383      0.0965
 575     0.0010     0.0000   100.0000     0.7397    91.1600    13.1429      0.0965
 576     0.0010     0.0000   100.0000     0.7398    91.1600    13.2208      0.0965
 577     0.0010     0.0001    99.9980     0.7398    91.1600    13.1768      0.0965
 578     0.0010     0.0000   100.0000     0.7399    91.1600    13.3586      0.0965
 579     0.0010     0.0000   100.0000     0.7401    91.1500    13.3655      0.0965
 580     0.0010     0.0000   100.0000     0.7403    91.1600    13.3062      0.0965
 581     0.0010     0.0000    99.9980     0.7406    91.1300    13.2366      0.0965
 582     0.0010     0.0001    99.9960     0.7407    91.1300    13.1962      0.0965
 583     0.0010     0.0000   100.0000     0.7406    91.1200    13.2549      0.0965
 584     0.0010     0.0001    99.9960     0.7401    91.1300    13.2139      0.0965
 585     0.0010     0.0002    99.9980     0.7403    91.1300    13.4697      0.0965
 586     0.0010     0.0000   100.0000     0.7405    91.1300    13.3850      0.0965
 587     0.0010     0.0000    99.9980     0.7405    91.1300    13.3887      0.0965
 588     0.0010     0.0000   100.0000     0.7406    91.1400    13.3114      0.0965
 589     0.0010     0.0001    99.9960     0.7409    91.1500    13.1906      0.0965
 590     0.0010     0.0000   100.0000     0.7410    91.1500    13.2641      0.0965
 591     0.0010     0.0000   100.0000     0.7409    91.1200    13.3021      0.0965
 592     0.0010     0.0000   100.0000     0.7410    91.1000    13.4299      0.0965
 593     0.0010     0.0000   100.0000     0.7411    91.1000    13.2829      0.0965
 594     0.0010     0.0000   100.0000     0.7414    91.1200    13.3156      0.0965
 595     0.0010     0.0001    99.9980     0.7413    91.1100    13.2198      0.0965
 596     0.0010     0.0000   100.0000     0.7414    91.1100    13.2987      0.0965
 597     0.0010     0.0000   100.0000     0.7416    91.1100    13.3104      0.0965
 598     0.0010     0.0000   100.0000     0.7419    91.1400    13.2512      0.0965
 599     0.0010     0.0000   100.0000     0.7420    91.1400    13.1415      0.0965
 600     0.0010     0.0000   100.0000     0.7419    91.1400    13.2476      0.0965
