Files already downloaded and verified
You are going to run models on the test set. Are you sure?
Files already downloaded and verified
finish saving initial checkpoint
layer_blocks.0.0.weight
layer_blocks.0.0.bias
layer_blocks.0.1.weight
layer_blocks.0.1.bias
layer_blocks.1.0.weight
layer_blocks.1.0.bias
layer_blocks.1.1.weight
layer_blocks.1.1.bias
layer_blocks.2.0.weight
layer_blocks.2.0.bias
layer_blocks.2.1.weight
layer_blocks.2.1.bias
layer_blocks.2.2.weight
layer_blocks.2.2.bias
layer_blocks.3.0.weight
layer_blocks.3.0.bias
layer_blocks.3.1.weight
layer_blocks.3.1.bias
layer_blocks.3.2.weight
layer_blocks.3.2.bias
layer_blocks.4.0.weight
layer_blocks.4.0.bias
layer_blocks.4.1.weight
layer_blocks.4.1.bias
layer_blocks.4.2.weight
layer_blocks.4.2.bias
classifier.1.weight
classifier.1.bias
classifier.4.weight
classifier.4.bias
classifier.6.weight
classifier.6.bias
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
   1     0.1000     2.2116    15.2560     2.0843    17.9700    10.9903      0.9481
   2     0.1000     2.0402    20.9980     1.9266    24.3000    10.0635      0.9215
   3     0.1000     1.9387    24.3360     2.3799    14.6900     9.8799      0.9001
   4     0.1000     1.8206    28.5100     1.6456    36.0900    10.0436      0.8815
   5     0.1000     1.7400    33.2460     1.6394    37.0500    10.0434      0.8648
   6     0.1000     1.5713    40.3400     1.8216    32.8900    10.0976      0.8496
   7     0.1000     1.4747    45.2860     1.5208    43.9100    10.1202      0.8354
   8     0.1000     1.3558    50.9000     1.2399    55.7400    10.1947      0.8222
   9     0.1000     1.2130    56.8340     1.0725    61.7100    10.2290      0.8097
  10     0.1000     1.0879    61.5920     1.0048    64.5600    10.1186      0.7978
  11     0.1000     0.9952    65.1020     0.8604    70.3300    10.0824      0.7866
  12     0.1000     0.8984    68.8420     0.9113    68.7900    10.1426      0.7757
  13     0.1000     0.8376    71.3440     1.0291    65.0800    10.1415      0.7654
  14     0.1000     0.7714    73.8820     0.7500    73.6200    10.1451      0.7554
  15     0.1000     0.7176    75.7540     0.8685    70.5300    10.1919      0.7458
  16     0.1000     0.6773    77.4460     0.7528    75.0700     9.9891      0.7365
  17     0.1000     0.6285    78.8700     0.6096    79.8800    10.0644      0.7274
  18     0.1000     0.5982    79.9620     0.6462    78.8100    10.1231      0.7187
  19     0.1000     0.5661    81.1580     0.5842    80.3800    10.1073      0.7102
  20     0.1000     0.5327    82.2680     0.6549    78.5300    10.1612      0.7019
  21     0.1000     0.4978    83.4880     0.5753    81.1600    10.1053      0.6939
  22     0.1000     0.4754    84.0500     0.5385    82.3600    10.1623      0.6861
  23     0.1000     0.4600    84.6040     0.5085    83.7300    10.1834      0.6785
  24     0.1000     0.4355    85.5140     0.5005    84.5300    10.1931      0.6711
  25     0.1000     0.4130    86.4800     0.5202    83.5000    10.1867      0.6638
  26     0.1000     0.4013    86.5680     0.6700    79.1900    10.1581      0.6567
  27     0.1000     0.3807    87.3140     0.5174    83.6800    10.1998      0.6499
  28     0.1000     0.3641    88.0220     0.5246    83.5900    10.1416      0.6431
  29     0.1000     0.3482    88.5540     0.4792    85.2100    10.1823      0.6365
  30     0.1000     0.3394    88.8620     0.8917    76.4300    10.1072      0.6300
  31     0.1000     0.3222    89.3280     0.4825    85.4300    10.1400      0.6237
  32     0.1000     0.3089    89.8900     0.5010    85.0100    10.1429      0.6176
  33     0.1000     0.2940    90.1440     0.4696    85.7400    10.0926      0.6115
  34     0.1000     0.2826    90.5740     0.4834    85.3100    10.2187      0.6055
  35     0.1000     0.2667    91.1500     0.4586    86.7800    10.1161      0.5997
  36     0.1000     0.2601    91.4940     0.4875    85.2300    10.1590      0.5939
  37     0.1000     0.2538    91.6200     0.4293    86.9900    10.1382      0.5883
  38     0.1000     0.2437    91.8860     0.5096    85.2700    10.0693      0.5828
  39     0.1000     0.2320    92.3280     0.5145    84.5100    10.0109      0.5774
  40     0.1000     0.2204    92.6580     0.4341    87.0800    10.0398      0.5721
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  41     0.1000     0.2204    92.6500     0.4466    87.0500    10.1853      0.5669
  42     0.1000     0.2076    93.1460     0.4829    86.2500    10.0927      0.5617
  43     0.1000     0.1984    93.4300     0.4318    87.7400    10.1269      0.5567
  44     0.1000     0.1924    93.6200     0.4551    87.2400    10.1461      0.5518
  45     0.1000     0.1814    93.9500     0.5064    85.8900    10.1056      0.5469
  46     0.1000     0.1778    94.1800     0.4900    86.6400     9.9945      0.5421
  47     0.1000     0.1716    94.2940     0.5118    85.8000    10.0813      0.5373
  48     0.1000     0.1680    94.4460     0.4889    87.1700    10.0925      0.5327
  49     0.1000     0.1595    94.8380     0.4471    87.6600    10.1874      0.5281
  50     0.1000     0.1577    94.7480     0.4264    88.0100    10.1218      0.5236
  51     0.1000     0.1515    95.0080     0.4836    87.0800    10.0748      0.5192
  52     0.1000     0.1456    95.2180     0.6046    84.5900    10.1237      0.5148
  53     0.1000     0.1402    95.3960     0.4809    87.4900    10.1829      0.5105
  54     0.1000     0.1374    95.3960     0.4560    87.9200    10.0560      0.5063
  55     0.1000     0.1281    95.7300     0.4995    86.9100    10.0074      0.5020
  56     0.1000     0.1299    95.6960     0.5725    85.8900    10.1368      0.4980
  57     0.1000     0.1364    95.6200     0.4873    86.7800    10.0852      0.4938
  58     0.1000     0.1162    96.2280     0.4451    88.0100    10.0787      0.4898
  59     0.1000     0.1168    96.0680     0.4736    87.9700    10.1066      0.4858
  60     0.1000     0.1092    96.4840     0.4595    88.6000    10.1246      0.4819
  61     0.1000     0.1119    96.2640     0.4733    88.5900    10.0672      0.4781
  62     0.1000     0.1017    96.6300     0.5018    87.8700    10.2568      0.4743
  63     0.1000     0.1019    96.7180     0.5813    86.3200    10.0835      0.4706
  64     0.1000     0.0992    96.7380     0.4863    87.3200    10.1292      0.4669
  65     0.1000     0.0953    96.8120     0.4767    88.0100    10.0992      0.4632
  66     0.1000     0.0912    97.0120     0.5307    87.5600    10.0547      0.4596
  67     0.1000     0.0938    96.8580     0.5081    88.1900    10.1201      0.4560
  68     0.1000     0.0891    97.0900     0.4755    88.8800    10.0549      0.4525
  69     0.1000     0.0831    97.2160     0.4755    88.4600    10.0878      0.4490
  70     0.1000     0.0887    97.1140     0.4871    88.4800    10.1708      0.4456
  71     0.1000     0.0835    97.1740     0.4893    88.2100    10.1448      0.4423
  72     0.1000     0.0791    97.4060     0.6248    86.0100    10.1823      0.4389
  73     0.1000     0.0747    97.5480     0.5152    88.1200    10.1828      0.4356
  74     0.1000     0.0753    97.5700     0.5307    88.0300    10.2144      0.4323
  75     0.1000     0.0736    97.5780     0.5686    87.0500    10.1831      0.4291
  76     0.1000     0.0709    97.6500     0.5330    87.9500    10.2326      0.4258
  77     0.1000     0.0698    97.6880     0.5365    88.1300    10.0900      0.4227
  78     0.1000     0.0694    97.7000     0.5204    88.2300    10.0907      0.4195
  79     0.1000     0.0633    97.9060     0.5502    87.1300    10.1134      0.4164
  80     0.1000     0.0635    97.8800     0.5660    88.0500    10.1798      0.4134
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  81     0.1000     0.0630    97.9680     0.5627    88.1500    10.0849      0.4103
  82     0.1000     0.0621    97.9700     0.5143    87.9300    10.1391      0.4074
  83     0.1000     0.0602    98.0100     0.5369    87.8900    10.1249      0.4044
  84     0.1000     0.0633    97.9820     0.5366    87.5800    10.2491      0.4015
  85     0.1000     0.0595    98.0720     0.4911    89.0700    10.1328      0.3986
  86     0.1000     0.0553    98.2140     0.5247    88.7900    10.1352      0.3958
  87     0.1000     0.0501    98.3980     0.5563    88.2800    10.0428      0.3929
  88     0.1000     0.0530    98.3160     0.5123    88.7100    10.0970      0.3901
  89     0.1000     0.0533    98.2940     0.5155    88.9400    10.1267      0.3874
  90     0.1000     0.0500    98.3940     0.5106    88.7400    10.2273      0.3846
  91     0.1000     0.0460    98.4440     0.5408    88.5400    10.1375      0.3819
  92     0.1000     0.0490    98.4080     0.5658    88.1600    10.1088      0.3792
  93     0.1000     0.0510    98.3280     0.5539    88.0900    10.0489      0.3765
  94     0.1000     0.0462    98.5140     0.5513    88.4400    10.1730      0.3739
  95     0.1000     0.0461    98.5320     0.5332    88.5800    10.1613      0.3713
  96     0.1000     0.0458    98.4580     0.5608    88.1900    10.0363      0.3687
  97     0.1000     0.0436    98.6160     0.5346    88.5200    10.1167      0.3661
  98     0.1000     0.0449    98.5120     0.5328    88.9600    10.1432      0.3635
  99     0.1000     0.0394    98.7680     0.5669    88.4700    10.1478      0.3611
 100     0.1000     0.0395    98.7980     0.5778    88.7200     9.9891      0.3586
 101     0.1000     0.0420    98.6180     0.5418    88.5300    10.2055      0.3561
 102     0.1000     0.0397    98.7100     0.5644    88.6200    10.0403      0.3538
 103     0.1000     0.0410    98.6580     0.5542    88.6800    10.0096      0.3514
 104     0.1000     0.0410    98.6700     0.5614    88.5600    10.1992      0.3490
 105     0.1000     0.0383    98.7340     0.5654    88.9100    10.0854      0.3466
 106     0.1000     0.0368    98.7960     0.5920    88.2400    10.2733      0.3443
 107     0.1000     0.0378    98.7540     0.5003    89.2700    10.0884      0.3420
 108     0.1000     0.0328    98.9440     0.7382    86.5600    10.2050      0.3398
 109     0.1000     0.0349    98.8520     0.6327    87.7600    10.2300      0.3375
 110     0.1000     0.0336    98.9760     0.5709    88.4300    10.1206      0.3353
 111     0.1000     0.0350    98.8400     0.5269    89.1600    10.1769      0.3331
 112     0.1000     0.0311    98.9880     0.5927    88.1400    10.1546      0.3309
 113     0.1000     0.0381    98.8400     0.5666    88.3000    10.1675      0.3288
 114     0.1000     0.0321    98.9740     0.5563    88.7800    10.0750      0.3267
 115     0.1000     0.0318    98.9760     0.5686    88.6900    10.1244      0.3245
 116     0.1000     0.0304    98.9800     0.5729    88.4500    10.1217      0.3224
 117     0.1000     0.0342    98.9220     0.5645    88.7000    10.1223      0.3204
 118     0.1000     0.0324    98.9460     0.5531    88.7100    10.0295      0.3183
 119     0.1000     0.0303    98.9820     0.5605    89.1900    10.1544      0.3163
 120     0.1000     0.0270    99.1320     0.5979    88.7000    10.1012      0.3143
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 121     0.1000     0.0292    99.1100     0.5747    89.0100    10.0735      0.3122
 122     0.1000     0.0302    99.0240     0.7664    86.9700    10.0978      0.3103
 123     0.1000     0.0286    99.0720     0.5725    89.2600    10.0195      0.3083
 124     0.1000     0.0317    98.9940     0.5824    88.6600    10.0476      0.3064
 125     0.1000     0.0278    99.0840     0.5986    88.3800    10.1316      0.3045
 126     0.1000     0.0301    99.0620     0.5355    89.0500    10.0779      0.3026
 127     0.1000     0.0246    99.2100     0.5784    88.8600    10.2433      0.3007
 128     0.1000     0.0258    99.1800     0.5682    89.1200    10.0961      0.2988
 129     0.1000     0.0258    99.1860     0.5708    89.2100    10.2000      0.2969
 130     0.1000     0.0249    99.2460     0.5716    88.9700    10.1191      0.2951
 131     0.1000     0.0265    99.1840     0.5981    89.1600    10.1502      0.2933
 132     0.1000     0.0269    99.1640     0.5646    89.2100    10.2040      0.2916
 133     0.1000     0.0237    99.2420     0.6090    88.7900    10.1217      0.2898
 134     0.1000     0.0298    99.0660     0.6019    88.2400    10.0290      0.2880
 135     0.1000     0.0252    99.2020     0.5820    88.6200    10.0725      0.2863
 136     0.1000     0.0240    99.2160     0.5663    89.7200    10.1481      0.2845
 137     0.1000     0.0267    99.1380     0.5833    88.8100    10.1575      0.2828
 138     0.1000     0.0224    99.2680     0.5627    89.2200    10.0934      0.2811
 139     0.1000     0.0264    99.1900     0.5700    88.7100    10.0657      0.2795
 140     0.1000     0.0240    99.2180     0.7675    86.8900    10.1035      0.2778
 141     0.1000     0.0217    99.3060     0.6017    88.8500    10.1969      0.2761
 142     0.1000     0.0246    99.2380     0.5801    88.9200    10.1321      0.2745
 143     0.1000     0.0242    99.2180     0.6385    88.3900    10.0193      0.2729
 144     0.1000     0.0220    99.3380     0.5599    89.3700    10.0922      0.2713
 145     0.1000     0.0209    99.3520     0.5718    89.4600    10.0477      0.2697
 146     0.1000     0.0204    99.3400     0.5849    89.5000    10.0326      0.2681
 147     0.1000     0.0213    99.2980     0.6007    88.7000    10.0846      0.2665
 148     0.1000     0.0224    99.3340     0.5767    88.9400    10.2151      0.2650
 149     0.1000     0.0204    99.3820     0.7041    87.0700    10.1587      0.2634
 150     0.1000     0.0214    99.3060     0.6666    88.4700    10.0483      0.2619
 151     0.1000     0.0221    99.3320     0.5852    88.9000    10.0584      0.2604
 152     0.1000     0.0160    99.4960     0.6037    89.5200     9.9788      0.2589
 153     0.1000     0.0224    99.3380     0.5759    89.4800     9.9602      0.2575
 154     0.1000     0.0179    99.4180     0.5784    88.9400    10.0928      0.2560
 155     0.1000     0.0192    99.3640     0.6308    88.5300    10.1389      0.2545
 156     0.1000     0.0202    99.3700     0.5804    89.5100    10.0258      0.2531
 157     0.1000     0.0172    99.4200     0.6502    88.8700    10.0295      0.2517
 158     0.1000     0.0193    99.3920     0.6065    89.0600     9.9879      0.2503
 159     0.1000     0.0218    99.3440     0.6222    88.3500     9.9729      0.2488
 160     0.1000     0.0212    99.3660     0.5842    89.2900    10.0143      0.2475
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 161     0.1000     0.0198    99.3780     0.5938    88.9200    10.0472      0.2461
 162     0.1000     0.0177    99.4460     0.5991    89.1100    10.0010      0.2447
 163     0.1000     0.0210    99.3660     0.5627    89.5300    10.0515      0.2434
 164     0.1000     0.0194    99.3900     0.6558    88.6300    10.0190      0.2420
 165     0.1000     0.0199    99.3520     0.6409    88.5300    10.0735      0.2407
 166     0.1000     0.0204    99.3280     0.5672    89.1200    10.1088      0.2394
 167     0.1000     0.0186    99.4000     0.5866    89.4200    10.1663      0.2381
 168     0.1000     0.0185    99.3720     0.6019    89.2200    10.1724      0.2369
 169     0.1000     0.0185    99.3780     0.5840    89.7400    10.0438      0.2356
 170     0.1000     0.0183    99.4480     0.5687    89.1800    10.1336      0.2343
 171     0.1000     0.0142    99.5660     0.6568    88.9300    10.0319      0.2331
 172     0.1000     0.0174    99.4040     0.5958    89.2500    10.0838      0.2318
 173     0.1000     0.0152    99.5100     0.5864    89.3800    10.0909      0.2306
 174     0.1000     0.0203    99.3460     0.6002    89.2300    10.1182      0.2293
 175     0.1000     0.0178    99.4360     0.5884    89.3200    10.1193      0.2281
 176     0.1000     0.0148    99.5180     0.6079    89.4000    10.1264      0.2269
 177     0.1000     0.0164    99.4760     0.6458    88.7300    10.0527      0.2257
 178     0.1000     0.0173    99.4640     0.5721    89.8400    10.0888      0.2245
 179     0.1000     0.0166    99.4500     0.6227    89.1700    10.0314      0.2233
 180     0.1000     0.0179    99.4260     0.6084    89.6300    10.0993      0.2222
 181     0.1000     0.0156    99.4780     0.5835    89.6800    10.0982      0.2210
 182     0.1000     0.0144    99.5580     0.5677    89.9900    10.0240      0.2198
 183     0.1000     0.0125    99.6180     0.6451    89.0300    10.0494      0.2187
 184     0.1000     0.0126    99.5900     0.6026    89.6000    10.0899      0.2175
 185     0.1000     0.0170    99.4560     0.5659    89.4700    10.0230      0.2164
 186     0.1000     0.0179    99.4560     0.5848    89.5500    10.1310      0.2153
 187     0.1000     0.0171    99.4720     0.5607    89.1600    10.0299      0.2142
 188     0.1000     0.0140    99.5460     0.6034    89.6000    10.0458      0.2132
 189     0.1000     0.0123    99.6400     0.6246    89.3500    10.0676      0.2121
 190     0.1000     0.0152    99.5420     0.5618    89.5500    10.1841      0.2110
 191     0.1000     0.0174    99.4220     0.6199    88.7400    10.1714      0.2100
 192     0.1000     0.0143    99.5860     0.5746    89.6100    10.0934      0.2089
 193     0.1000     0.0164    99.4580     0.5926    89.4600    10.1050      0.2079
 194     0.1000     0.0156    99.5400     0.6651    88.3900    10.1856      0.2068
 195     0.1000     0.0159    99.5020     0.6135    89.0100    10.1301      0.2058
 196     0.1000     0.0163    99.4860     0.6212    88.9500    10.0921      0.2048
 197     0.1000     0.0163    99.4940     0.6111    89.0400    10.2250      0.2038
 198     0.1000     0.0125    99.6080     0.6227    89.6200    10.1724      0.2028
 199     0.1000     0.0140    99.5300     0.6068    89.2100    10.1167      0.2018
 200     0.1000     0.0169    99.4500     0.5971    88.8500    10.1329      0.2009
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 201     0.1000     0.0161    99.5240     0.5934    89.3200    10.0725      0.1999
 202     0.1000     0.0160    99.5120     0.6121    89.1500    10.1005      0.1990
 203     0.1000     0.0164    99.4860     0.5929    89.4000    10.1200      0.1980
 204     0.1000     0.0123    99.6100     0.6393    89.2900    10.1509      0.1970
 205     0.1000     0.0142    99.5540     0.6287    89.1500    10.1703      0.1961
 206     0.1000     0.0126    99.6020     0.6202    89.1500    10.1877      0.1952
 207     0.1000     0.0151    99.5180     0.6008    89.4800    10.1085      0.1942
 208     0.1000     0.0138    99.5500     0.6202    89.0900    10.0613      0.1933
 209     0.1000     0.0128    99.6140     0.5938    89.3800    10.0903      0.1924
 210     0.1000     0.0164    99.4640     0.5836    89.4800    10.0698      0.1915
 211     0.1000     0.0161    99.4780     0.5769    89.6300    10.0994      0.1906
 212     0.1000     0.0135    99.5780     0.6239    89.4300    10.1173      0.1898
 213     0.1000     0.0127    99.5780     0.6576    89.3600    10.0779      0.1889
 214     0.1000     0.0128    99.5920     0.6006    89.4300     9.9987      0.1880
 215     0.1000     0.0126    99.6180     0.6292    89.4000    10.0616      0.1872
 216     0.1000     0.0139    99.5920     0.6014    89.3500    10.0982      0.1863
 217     0.1000     0.0174    99.4520     0.6063    89.1900    10.1074      0.1855
 218     0.1000     0.0141    99.5580     0.9384    85.0900    10.1002      0.1846
 219     0.1000     0.0157    99.5260     0.5914    89.8700    10.1146      0.1838
 220     0.1000     0.0115    99.6380     0.6922    88.5400    10.0587      0.1830
 221     0.1000     0.0152    99.4720     0.6655    88.8700    10.1035      0.1822
 222     0.1000     0.0155    99.5140     0.5719    89.6000    10.0101      0.1814
 223     0.1000     0.0119    99.6080     0.5968    89.9100    10.1057      0.1806
 224     0.1000     0.0151    99.5620     0.6164    89.6500    10.0581      0.1797
 225     0.1000     0.0149    99.5300     0.6183    89.1600    10.1182      0.1790
 226     0.1000     0.0102    99.6860     0.6392    89.3800    10.1338      0.1782
 227     0.1000     0.0159    99.5200     0.5911    89.6100    10.1375      0.1774
 228     0.1000     0.0114    99.6840     0.6437    89.3900    10.0379      0.1766
 229     0.1000     0.0165    99.4940     0.5926    89.7300    10.0930      0.1758
 230     0.1000     0.0141    99.5440     0.6160    89.2300    10.0782      0.1751
 231     0.1000     0.0141    99.5640     0.7241    88.3500    10.0068      0.1743
 232     0.1000     0.0142    99.5800     0.6252    89.2100    10.1556      0.1736
 233     0.1000     0.0132    99.6040     0.6066    89.4600    10.1297      0.1728
 234     0.1000     0.0134    99.5940     0.6176    89.4100    10.0594      0.1721
 235     0.1000     0.0108    99.6500     0.6270    89.0900    10.0874      0.1714
 236     0.1000     0.0117    99.6360     0.5988    89.7400    10.1200      0.1707
 237     0.1000     0.0150    99.5180     0.6740    89.1200    10.1367      0.1700
 238     0.1000     0.0105    99.7020     0.6064    89.6700    10.0783      0.1692
 239     0.1000     0.0093    99.6820     0.6131    89.5300    10.0608      0.1685
 240     0.1000     0.0109    99.6560     0.6470    89.4400    10.0664      0.1678
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 241     0.1000     0.0123    99.6320     0.6092    89.5400    10.0430      0.1671
 242     0.1000     0.0132    99.5920     0.6138    89.3000    10.0315      0.1664
 243     0.1000     0.0106    99.6600     0.6014    89.4600    10.0704      0.1657
 244     0.1000     0.0104    99.6840     0.6509    89.4100    10.1540      0.1650
 245     0.1000     0.0137    99.5660     0.6233    89.0700    10.0510      0.1643
 246     0.1000     0.0142    99.5620     0.5897    89.4000    10.0727      0.1637
 247     0.1000     0.0135    99.5940     0.5816    89.3600    10.1102      0.1630
 248     0.1000     0.0125    99.6380     0.6532    89.1100    10.0999      0.1624
 249     0.1000     0.0125    99.5860     0.6746    89.1000    10.0978      0.1617
 250     0.1000     0.0134    99.5960     0.6207    89.4700    10.1288      0.1610
 251     0.1000     0.0115    99.6060     0.6123    89.2900    10.0585      0.1604
 252     0.1000     0.0122    99.6140     0.5972    89.6200    10.1399      0.1598
 253     0.1000     0.0106    99.6760     0.7831    87.3900    10.0577      0.1591
 254     0.1000     0.0147    99.5360     0.6133    89.6000    10.1824      0.1585
 255     0.1000     0.0115    99.6540     0.6063    89.7600    10.1351      0.1578
 256     0.1000     0.0126    99.5880     0.5961    89.4100     9.9891      0.1573
 257     0.1000     0.0110    99.6400     0.6313    89.6400    10.0738      0.1566
 258     0.1000     0.0105    99.6840     0.6130    89.2200    10.1146      0.1560
 259     0.1000     0.0105    99.6740     0.6775    89.1800    10.0618      0.1554
 260     0.1000     0.0091    99.7240     0.6438    89.3400    10.2106      0.1547
 261     0.1000     0.0101    99.6880     0.7021    88.4800    10.1841      0.1541
 262     0.1000     0.0104    99.6700     0.6456    89.6700    10.1193      0.1535
 263     0.1000     0.0111    99.6600     0.6439    89.5900    10.0857      0.1529
 264     0.1000     0.0109    99.7000     0.7195    88.3700    10.1391      0.1523
 265     0.1000     0.0118    99.6600     0.6310    89.3000    10.1335      0.1517
 266     0.1000     0.0106    99.6800     0.5912    89.9500     9.9745      0.1511
 267     0.1000     0.0127    99.5960     0.5840    89.7200    10.1013      0.1506
 268     0.1000     0.0131    99.5920     0.6025    89.3600    10.0237      0.1501
 269     0.1000     0.0094    99.7060     0.6420    89.9100    10.0264      0.1495
 270     0.1000     0.0112    99.6420     0.6417    88.7500    10.1578      0.1489
 271     0.1000     0.0091    99.7160     0.6602    89.6300    10.2290      0.1483
 272     0.1000     0.0106    99.6800     0.6952    88.8800    10.1896      0.1478
 273     0.1000     0.0135    99.5720     0.6289    89.5300    10.1594      0.1472
 274     0.1000     0.0113    99.6680     0.7176    88.2600    10.1056      0.1467
 275     0.1000     0.0131    99.6160     0.6297    89.3300    10.0995      0.1462
 276     0.1000     0.0123    99.5940     0.5952    89.7400    10.0799      0.1456
 277     0.1000     0.0119    99.6360     0.6355    89.4000    10.1081      0.1451
 278     0.1000     0.0087    99.7200     0.6375    89.6300    10.0654      0.1446
 279     0.1000     0.0111    99.6740     0.7680    88.3800    10.0922      0.1440
 280     0.1000     0.0109    99.6600     0.6116    89.8100    10.0643      0.1435
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 281     0.1000     0.0095    99.7260     0.6570    89.1500    10.0841      0.1430
 282     0.1000     0.0093    99.6920     0.6031    89.8000    10.1249      0.1425
 283     0.1000     0.0104    99.6540     0.6284    89.4100    10.1287      0.1420
 284     0.1000     0.0144    99.5660     0.5818    89.9400    10.1978      0.1415
 285     0.1000     0.0113    99.6480     0.6175    89.5500    10.0805      0.1410
 286     0.1000     0.0111    99.6740     0.6268    88.9400    10.1609      0.1405
 287     0.1000     0.0090    99.7320     0.6512    89.5000    10.1538      0.1400
 288     0.1000     0.0088    99.7500     0.6084    89.9900    10.1713      0.1395
 289     0.1000     0.0103    99.6760     0.6302    89.3200    10.1227      0.1390
 290     0.1000     0.0104    99.7000     0.6109    90.0100    10.0323      0.1385
 291     0.1000     0.0078    99.7740     0.6217    89.5000    10.1288      0.1380
 292     0.1000     0.0094    99.6860     0.6373    89.8500    10.1088      0.1375
 293     0.1000     0.0093    99.7300     0.6081    89.8300    10.1449      0.1370
 294     0.1000     0.0130    99.6000     0.6874    88.7900    10.0502      0.1366
 295     0.1000     0.0072    99.7820     0.6660    89.0700    10.1256      0.1361
 296     0.1000     0.0116    99.6300     0.6073    89.6200    10.0912      0.1356
 297     0.1000     0.0112    99.6640     0.6303    89.9300    10.1988      0.1352
 298     0.1000     0.0111    99.6620     0.6335    89.1800    10.2042      0.1347
 299     0.1000     0.0089    99.7340     0.6706    89.5700    10.1104      0.1343
 300     0.1000     0.0086    99.7200     0.7420    88.8500    10.0716      0.1338
 301     0.0996     0.0105    99.6460     0.6525    89.6100    10.1275      0.1334
 302     0.0992     0.0098    99.6760     0.6371    89.6100    10.2418      0.1329
 303     0.0988     0.0116    99.6620     0.6748    89.6900    10.1244      0.1325
 304     0.0983     0.0118    99.6480     0.5923    90.0200    10.1185      0.1321
 305     0.0979     0.0068    99.7760     0.6260    89.6600    10.1175      0.1316
 306     0.0975     0.0127    99.6000     0.5729    89.8500    10.1628      0.1312
 307     0.0971     0.0102    99.6780     0.6021    89.8900    10.1470      0.1308
 308     0.0967     0.0087    99.7300     0.6015    89.9000    10.1769      0.1304
 309     0.0963     0.0075    99.7720     0.6434    89.6900    10.0316      0.1300
 310     0.0959     0.0085    99.7260     0.5959    89.9800    10.0583      0.1295
 311     0.0955     0.0071    99.7800     0.6176    90.1300    10.1567      0.1291
 312     0.0950     0.0056    99.8160     0.7052    89.4500    10.1367      0.1287
 313     0.0946     0.0081    99.7760     0.7166    89.2600    10.0326      0.1283
 314     0.0942     0.0102    99.6920     0.6372    89.8500    10.0998      0.1279
 315     0.0938     0.0061    99.8240     0.6847    89.3800    10.1379      0.1275
 316     0.0934     0.0066    99.7620     0.6536    89.8200    10.2152      0.1271
 317     0.0930     0.0063    99.7920     0.7169    89.1500    10.1040      0.1267
 318     0.0926     0.0097    99.7060     0.6139    89.9800    10.0217      0.1263
 319     0.0922     0.0097    99.6960     0.6272    90.0600    10.0142      0.1259
 320     0.0917     0.0083    99.7260     0.6111    90.1500    10.1243      0.1256
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 321     0.0913     0.0060    99.8180     0.6641    89.9400    10.2593      0.1252
 322     0.0909     0.0072    99.7860     0.6145    89.9300    10.2251      0.1248
 323     0.0905     0.0058    99.8280     0.6480    89.8700    10.0682      0.1245
 324     0.0901     0.0056    99.8280     0.6255    90.1400    10.1424      0.1241
 325     0.0897     0.0052    99.8360     0.6735    89.4800    10.0087      0.1237
 326     0.0893     0.0085    99.7440     0.6452    89.9500    10.1711      0.1233
 327     0.0889     0.0078    99.7620     0.6185    90.2100    10.1346      0.1229
 328     0.0885     0.0065    99.8280     0.6164    89.8700    10.0863      0.1226
 329     0.0880     0.0079    99.7780     0.6089    90.1100    10.1094      0.1222
 330     0.0876     0.0062    99.8000     0.6681    89.5700    10.1245      0.1219
 331     0.0872     0.0081    99.7800     0.6381    89.9200    10.1868      0.1216
 332     0.0868     0.0058    99.8040     0.6638    89.9000    10.1931      0.1213
 333     0.0864     0.0053    99.8380     0.6453    90.3600    10.1265      0.1209
 334     0.0860     0.0048    99.8500     0.7131    89.7200    10.1864      0.1206
 335     0.0856     0.0057    99.8020     0.6204    90.1000    10.1806      0.1202
 336     0.0852     0.0059    99.8240     0.6233    90.0800    10.1979      0.1199
 337     0.0847     0.0066    99.8080     0.6184    90.0800    10.0386      0.1196
 338     0.0843     0.0053    99.8320     0.6586    89.9500    10.0797      0.1193
 339     0.0839     0.0051    99.8280     0.6619    89.7400    10.0811      0.1190
 340     0.0835     0.0050    99.8440     0.7041    89.6600    10.1444      0.1186
 341     0.0831     0.0051    99.8460     0.6591    90.0100    10.0945      0.1183
 342     0.0827     0.0055    99.8340     0.6284    90.2400    10.2205      0.1180
 343     0.0823     0.0044    99.8720     0.6667    89.8900    10.0624      0.1177
 344     0.0818     0.0049    99.8440     0.6806    89.9200    10.2063      0.1174
 345     0.0814     0.0052    99.8360     0.6883    89.7000    10.0979      0.1171
 346     0.0810     0.0071    99.7800     0.7077    89.2000    10.2094      0.1168
 347     0.0806     0.0046    99.8520     0.6360    90.3500    10.1277      0.1165
 348     0.0802     0.0053    99.8440     0.6653    89.8800    10.1283      0.1162
 349     0.0798     0.0063    99.8120     0.6543    90.0000    10.1040      0.1160
 350     0.0794     0.0053    99.8420     0.6520    89.8100    10.1297      0.1157
 351     0.0790     0.0040    99.8780     0.6566    89.9800    10.1441      0.1154
 352     0.0786     0.0045    99.8620     0.6578    90.1800    10.1664      0.1151
 353     0.0781     0.0042    99.8680     0.6585    90.1200    10.1537      0.1149
 354     0.0777     0.0051    99.8440     0.6793    89.7500    10.1119      0.1146
 355     0.0773     0.0045    99.8720     0.6351    89.7700    10.1585      0.1143
 356     0.0769     0.0041    99.8720     0.7012    89.6500    10.1539      0.1141
 357     0.0765     0.0030    99.9060     0.6645    90.2100    10.0733      0.1138
 358     0.0761     0.0035    99.8840     0.6780    90.0300    10.0490      0.1135
 359     0.0757     0.0038    99.8820     0.6685    90.1400    10.1693      0.1132
 360     0.0753     0.0028    99.9220     0.6650    89.8600    10.0601      0.1130
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 361     0.0748     0.0031    99.9060     0.6669    89.9300    10.2637      0.1127
 362     0.0744     0.0033    99.9160     0.6680    90.4000    10.1542      0.1124
 363     0.0740     0.0042    99.8820     0.6474    90.2700    10.1715      0.1122
 364     0.0736     0.0045    99.8440     0.6489    90.0200    10.1393      0.1119
 365     0.0732     0.0042    99.8840     0.6728    89.9000    10.1477      0.1117
 366     0.0728     0.0039    99.8740     0.7240    89.2200    10.1123      0.1114
 367     0.0724     0.0038    99.8880     0.6563    90.3000    10.0848      0.1112
 368     0.0720     0.0034    99.9080     0.6293    90.3700    10.0954      0.1110
 369     0.0715     0.0024    99.9320     0.6453    90.5300    10.0603      0.1107
 370     0.0711     0.0031    99.9020     0.6300    90.5500    10.1435      0.1105
 371     0.0707     0.0022    99.9320     0.7062    90.0200    10.0694      0.1102
 372     0.0703     0.0028    99.9140     0.6871    89.9600    10.0520      0.1100
 373     0.0699     0.0024    99.9320     0.6623    90.3800    10.1168      0.1097
 374     0.0695     0.0015    99.9540     0.7041    89.9200    10.1611      0.1095
 375     0.0691     0.0024    99.9440     0.7117    90.0700    10.1408      0.1093
 376     0.0686     0.0031    99.9120     0.6531    90.1800    10.1186      0.1091
 377     0.0682     0.0023    99.9420     0.6939    89.9600    10.1280      0.1088
 378     0.0678     0.0023    99.9200     0.7030    90.1900    10.0697      0.1086
 379     0.0674     0.0019    99.9500     0.6745    90.2800    10.0459      0.1084
 380     0.0670     0.0027    99.9140     0.7168    90.1600    10.1634      0.1082
 381     0.0666     0.0031    99.9100     0.6542    90.4200    10.1193      0.1080
 382     0.0662     0.0023    99.9300     0.6953    90.6000    10.0878      0.1077
 383     0.0658     0.0016    99.9620     0.6850    90.4800    10.2104      0.1075
 384     0.0654     0.0016    99.9560     0.6871    90.5700    10.1424      0.1073
 385     0.0649     0.0022    99.9260     0.6903    90.3600    10.0491      0.1071
 386     0.0645     0.0018    99.9420     0.6833    90.4600    10.1881      0.1069
 387     0.0641     0.0015    99.9520     0.6859    90.3800    10.0767      0.1067
 388     0.0637     0.0029    99.9060     0.6940    90.3100    10.0768      0.1065
 389     0.0633     0.0029    99.9160     0.6757    90.1400    10.0947      0.1063
 390     0.0629     0.0016    99.9500     0.6798    90.1200    10.1878      0.1061
 391     0.0625     0.0021    99.9380     0.7044    90.0500    10.0346      0.1059
 392     0.0621     0.0021    99.9340     0.6871    90.4100    10.0762      0.1057
 393     0.0616     0.0033    99.9000     0.6903    90.2100    10.0528      0.1055
 394     0.0612     0.0023    99.9300     0.6732    90.1200    10.0538      0.1053
 395     0.0608     0.0025    99.9240     0.6680    90.5200    10.1193      0.1051
 396     0.0604     0.0018    99.9500     0.6587    90.4900    10.1180      0.1050
 397     0.0600     0.0016    99.9540     0.6880    90.1800    10.0704      0.1048
 398     0.0596     0.0011    99.9720     0.6902    90.3500    10.0772      0.1046
 399     0.0592     0.0018    99.9320     0.7069    90.3500    10.1424      0.1044
 400     0.0588     0.0021    99.9400     0.6995    90.1600    10.1386      0.1042
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 401     0.0583     0.0020    99.9380     0.6831    90.2800    10.0332      0.1040
 402     0.0579     0.0020    99.9400     0.6812    90.2200    10.1182      0.1039
 403     0.0575     0.0012    99.9620     0.6653    90.5200    10.0734      0.1037
 404     0.0571     0.0009    99.9760     0.6834    90.4600    10.1556      0.1035
 405     0.0567     0.0016    99.9540     0.6876    90.2500    10.0877      0.1033
 406     0.0563     0.0007    99.9820     0.6760    90.5900    10.0800      0.1032
 407     0.0559     0.0009    99.9720     0.7140    90.1100    10.0039      0.1030
 408     0.0554     0.0007    99.9800     0.6955    90.7200    10.0330      0.1028
 409     0.0550     0.0008    99.9820     0.6860    90.5500     9.9903      0.1026
 410     0.0546     0.0008    99.9720     0.6918    90.5200    10.0102      0.1025
 411     0.0542     0.0013    99.9520     0.7198    90.4100    10.0193      0.1023
 412     0.0538     0.0005    99.9880     0.7058    90.4700    10.1170      0.1022
 413     0.0534     0.0007    99.9800     0.7141    90.6400    10.0324      0.1020
 414     0.0530     0.0004    99.9900     0.7152    90.5300    10.0921      0.1018
 415     0.0526     0.0007    99.9800     0.7155    90.5200    10.0557      0.1017
 416     0.0522     0.0006    99.9880     0.7150    90.5600    10.0484      0.1015
 417     0.0517     0.0006    99.9860     0.7125    90.6500    10.0741      0.1014
 418     0.0513     0.0007    99.9700     0.7158    90.4700    10.1039      0.1012
 419     0.0509     0.0013    99.9680     0.7038    90.7300    10.1298      0.1011
 420     0.0505     0.0013    99.9600     0.7120    90.4100    10.0509      0.1009
 421     0.0501     0.0009    99.9780     0.7019    90.5800    10.1519      0.1008
 422     0.0497     0.0004    99.9920     0.7093    90.5800    10.0681      0.1006
 423     0.0493     0.0003    99.9980     0.7157    90.5100    10.0556      0.1005
 424     0.0489     0.0009    99.9720     0.7061    90.6000    10.1852      0.1003
 425     0.0484     0.0005    99.9940     0.7076    90.6000    10.0648      0.1002
 426     0.0480     0.0004    99.9900     0.7102    90.7500    10.0754      0.1000
 427     0.0476     0.0006    99.9820     0.7097    90.7600    10.0645      0.0999
 428     0.0472     0.0008    99.9740     0.7134    90.4500    10.1342      0.0998
 429     0.0468     0.0003    99.9960     0.7290    90.7200    10.0960      0.0996
 430     0.0464     0.0004    99.9900     0.7090    90.8400    10.2798      0.0995
 431     0.0460     0.0006    99.9800     0.7158    90.4500    10.1321      0.0994
 432     0.0456     0.0010    99.9720     0.7258    90.4500    10.0304      0.0992
 433     0.0451     0.0007    99.9760     0.7268    90.6000    10.1027      0.0991
 434     0.0447     0.0005    99.9920     0.7283    90.5700    10.1603      0.0990
 435     0.0443     0.0008    99.9840     0.7159    90.6700    10.1086      0.0988
 436     0.0439     0.0008    99.9780     0.7170    90.5600    10.0938      0.0987
 437     0.0435     0.0005    99.9800     0.7054    90.6400    10.0894      0.0986
 438     0.0431     0.0004    99.9880     0.7151    90.5900    10.0591      0.0985
 439     0.0427     0.0006    99.9760     0.7256    90.3900    10.0284      0.0984
 440     0.0423     0.0004    99.9920     0.7085    90.6400    10.1265      0.0982
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 441     0.0418     0.0005    99.9900     0.7258    90.5600    10.0984      0.0981
 442     0.0414     0.0006    99.9840     0.7113    90.7200    10.0519      0.0980
 443     0.0410     0.0002    99.9980     0.7100    90.7800    10.1655      0.0979
 444     0.0406     0.0004    99.9880     0.7104    90.7300    10.0547      0.0978
 445     0.0402     0.0003    99.9940     0.7074    90.6300    10.1823      0.0977
 446     0.0398     0.0005    99.9880     0.7097    90.8700    10.1293      0.0975
 447     0.0394     0.0008    99.9720     0.7059    90.4600    10.0895      0.0974
 448     0.0389     0.0003    99.9980     0.7146    90.6600    10.0822      0.0973
 449     0.0385     0.0005    99.9840     0.7163    90.6200    10.0554      0.0972
 450     0.0381     0.0003    99.9900     0.7330    90.7700    10.1033      0.0971
 451     0.0377     0.0002   100.0000     0.7344    90.8600    10.0377      0.0970
 452     0.0373     0.0003    99.9940     0.7282    90.7400    10.0732      0.0969
 453     0.0369     0.0003    99.9900     0.7332    90.8100    10.0853      0.0968
 454     0.0365     0.0002    99.9960     0.7338    90.9000    10.0954      0.0967
 455     0.0361     0.0002    99.9980     0.7247    90.9300    10.1636      0.0966
 456     0.0357     0.0002    99.9940     0.7241    90.7600    10.1405      0.0965
 457     0.0352     0.0002    99.9960     0.7290    90.8300    10.1021      0.0964
 458     0.0348     0.0003    99.9940     0.7248    90.8700    10.1337      0.0963
 459     0.0344     0.0003    99.9920     0.7452    90.7400    10.0421      0.0962
 460     0.0340     0.0005    99.9920     0.7288    90.8000    10.1827      0.0962
 461     0.0336     0.0004    99.9860     0.7209    90.6900    10.1822      0.0961
 462     0.0332     0.0005    99.9860     0.7102    90.7200    10.0815      0.0960
 463     0.0328     0.0003    99.9920     0.7126    90.7900    10.1912      0.0959
 464     0.0324     0.0006    99.9820     0.7147    90.8100    10.1617      0.0958
 465     0.0319     0.0004    99.9860     0.7079    90.9000    10.2595      0.0957
 466     0.0315     0.0004    99.9900     0.6976    90.7000    10.1319      0.0957
 467     0.0311     0.0003    99.9940     0.7059    90.9200    10.1110      0.0956
 468     0.0307     0.0004    99.9900     0.7064    90.8100    10.1272      0.0955
 469     0.0303     0.0004    99.9900     0.7151    90.7500    10.0417      0.0954
 470     0.0299     0.0004    99.9860     0.7054    90.8100    10.1517      0.0954
 471     0.0295     0.0003    99.9920     0.7163    90.9400    10.0801      0.0953
 472     0.0291     0.0002    99.9980     0.7224    90.8300    10.0844      0.0952
 473     0.0286     0.0004    99.9880     0.7206    90.6000    10.1612      0.0951
 474     0.0282     0.0002    99.9960     0.7154    90.7300    10.0723      0.0951
 475     0.0278     0.0003    99.9920     0.7160    90.7900    10.1780      0.0950
 476     0.0274     0.0006    99.9880     0.7084    90.8500    10.1037      0.0949
 477     0.0270     0.0003    99.9960     0.7107    90.8500    10.0662      0.0949
 478     0.0266     0.0003    99.9940     0.7140    90.8100    10.1243      0.0948
 479     0.0262     0.0002    99.9980     0.7163    90.8400    10.0584      0.0947
 480     0.0257     0.0003    99.9900     0.7051    90.8700    10.1200      0.0947
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 481     0.0253     0.0004    99.9860     0.7042    90.8700    10.1636      0.0946
 482     0.0249     0.0003    99.9940     0.7110    90.8800    10.0590      0.0945
 483     0.0245     0.0003    99.9940     0.7127    90.7500    10.1284      0.0945
 484     0.0241     0.0002    99.9960     0.7065    90.8300    10.0268      0.0944
 485     0.0237     0.0002    99.9960     0.7063    90.8600    10.0219      0.0944
 486     0.0233     0.0002    99.9960     0.7039    90.8200    10.1604      0.0943
 487     0.0229     0.0002    99.9980     0.7090    90.8400    10.1122      0.0942
 488     0.0225     0.0003    99.9920     0.7241    90.8400    10.1416      0.0942
 489     0.0220     0.0003    99.9960     0.7264    90.7900    10.1213      0.0941
 490     0.0216     0.0002    99.9960     0.7171    90.8400    10.0961      0.0941
 491     0.0212     0.0002    99.9940     0.7164    90.7900    10.0531      0.0940
 492     0.0208     0.0002    99.9980     0.7170    90.5900    10.0494      0.0940
 493     0.0204     0.0002    99.9980     0.7129    90.7500    10.0868      0.0939
 494     0.0200     0.0002    99.9980     0.7105    90.8000    10.0852      0.0939
 495     0.0196     0.0002    99.9960     0.7156    90.7800    10.1081      0.0939
 496     0.0192     0.0002    99.9980     0.7159    90.7700    10.0504      0.0938
 497     0.0187     0.0003    99.9940     0.7167    90.8100    10.1476      0.0938
 498     0.0183     0.0003    99.9960     0.7183    90.7500    10.1274      0.0937
 499     0.0179     0.0001   100.0000     0.7165    90.8000    10.1241      0.0937
 500     0.0175     0.0003    99.9940     0.7182    90.7800    10.0881      0.0936
 501     0.0171     0.0002    99.9960     0.7167    90.7600    10.2405      0.0936
 502     0.0167     0.0003    99.9960     0.7168    90.8700    10.1434      0.0936
 503     0.0163     0.0003    99.9900     0.7128    90.8700    10.2171      0.0935
 504     0.0159     0.0003    99.9940     0.7076    90.7600    10.0897      0.0935
 505     0.0154     0.0002    99.9980     0.7104    90.8100    10.0451      0.0935
 506     0.0150     0.0002    99.9980     0.7157    90.7700    10.0180      0.0934
 507     0.0146     0.0002    99.9960     0.7156    90.7500    10.0207      0.0934
 508     0.0142     0.0002    99.9980     0.7151    90.8200    10.0845      0.0933
 509     0.0138     0.0002    99.9980     0.7137    90.7600    10.1709      0.0933
 510     0.0134     0.0002    99.9980     0.7146    90.7400    10.1348      0.0933
 511     0.0130     0.0002    99.9960     0.7160    90.7400    10.0692      0.0933
 512     0.0125     0.0002    99.9980     0.7163    90.8000    10.1213      0.0932
 513     0.0121     0.0003    99.9900     0.7151    90.8300    10.0487      0.0932
 514     0.0117     0.0002    99.9980     0.7147    90.7900    10.1354      0.0932
 515     0.0113     0.0002    99.9980     0.7148    90.8300    10.1208      0.0932
 516     0.0109     0.0002    99.9980     0.7142    90.7600     9.9740      0.0931
 517     0.0105     0.0001    99.9980     0.7145    90.8500    10.1711      0.0931
 518     0.0101     0.0001   100.0000     0.7156    90.8000    10.1135      0.0931
 519     0.0097     0.0002    99.9980     0.7157    90.8300    10.2308      0.0931
 520     0.0092     0.0002    99.9960     0.7168    90.8300    10.1760      0.0931
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 521     0.0088     0.0001    99.9980     0.7179    90.7600    10.1617      0.0930
 522     0.0084     0.0001    99.9980     0.7183    90.7900    10.1708      0.0930
 523     0.0080     0.0001   100.0000     0.7188    90.8100    10.1786      0.0930
 524     0.0076     0.0001   100.0000     0.7196    90.8100    10.1448      0.0930
 525     0.0072     0.0002    99.9980     0.7224    90.7700    10.1043      0.0930
 526     0.0068     0.0002    99.9980     0.7229    90.8800    10.0767      0.0930
 527     0.0064     0.0002    99.9960     0.7228    90.8600    10.1246      0.0929
 528     0.0060     0.0001   100.0000     0.7235    90.8200    10.0670      0.0929
 529     0.0055     0.0001    99.9980     0.7229    90.8900    10.1092      0.0929
 530     0.0051     0.0002    99.9980     0.7232    90.8200    10.1802      0.0929
 531     0.0047     0.0001   100.0000     0.7236    90.8400    10.1158      0.0929
 532     0.0043     0.0002    99.9980     0.7225    90.8300     9.9845      0.0929
 533     0.0039     0.0002   100.0000     0.7223    90.8400    10.1380      0.0929
 534     0.0035     0.0002    99.9960     0.7220    90.8700    10.2061      0.0929
 535     0.0031     0.0001    99.9980     0.7216    90.8600    10.1408      0.0929
 536     0.0027     0.0001    99.9980     0.7208    90.8400    10.1432      0.0929
 537     0.0022     0.0001   100.0000     0.7209    90.8800    10.0964      0.0929
 538     0.0018     0.0002    99.9940     0.7207    90.8900    10.0864      0.0929
 539     0.0014     0.0001    99.9980     0.7207    90.8800    10.1293      0.0929
 540     0.0010     0.0002    99.9980     0.7210    90.8500    10.1382      0.0929
 541     0.0010     0.0002    99.9960     0.7215    90.8200    10.0399      0.0929
 542     0.0010     0.0001   100.0000     0.7215    90.8400    10.1053      0.0929
 543     0.0010     0.0002    99.9980     0.7214    90.8200    10.1801      0.0929
 544     0.0010     0.0002    99.9960     0.7215    90.8600    10.0649      0.0929
 545     0.0010     0.0001   100.0000     0.7217    90.8500    10.0372      0.0929
 546     0.0010     0.0001    99.9980     0.7218    90.8600    10.2034      0.0929
 547     0.0010     0.0001    99.9960     0.7215    90.8800     9.9701      0.0929
 548     0.0010     0.0001   100.0000     0.7215    90.8500    10.0145      0.0929
 549     0.0010     0.0001    99.9980     0.7213    90.8700    10.0305      0.0929
 550     0.0010     0.0002    99.9960     0.7211    90.8700    10.0310      0.0929
 551     0.0010     0.0001   100.0000     0.7212    90.8800    10.1212      0.0929
 552     0.0010     0.0001   100.0000     0.7213    90.8800    10.1045      0.0929
 553     0.0010     0.0003    99.9900     0.7209    90.8900    10.0999      0.0929
 554     0.0010     0.0001   100.0000     0.7208    90.9000    10.1161      0.0929
 555     0.0010     0.0001   100.0000     0.7210    90.9100    10.0603      0.0929
 556     0.0010     0.0002    99.9980     0.7212    90.9100    10.0234      0.0929
 557     0.0010     0.0002    99.9980     0.7209    90.8700    10.0444      0.0929
 558     0.0010     0.0001    99.9980     0.7207    90.9000    10.0193      0.0929
 559     0.0010     0.0002    99.9980     0.7208    90.8900     9.9666      0.0929
 560     0.0010     0.0001    99.9980     0.7209    90.9000    10.0303      0.0929
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 561     0.0010     0.0002    99.9940     0.7212    90.9000    10.0472      0.0929
 562     0.0010     0.0002    99.9940     0.7212    90.8900    10.0411      0.0929
 563     0.0010     0.0001   100.0000     0.7213    90.9000     9.9987      0.0929
 564     0.0010     0.0001    99.9980     0.7213    90.8900    10.0896      0.0929
 565     0.0010     0.0001   100.0000     0.7214    90.8800    10.0136      0.0929
 566     0.0010     0.0001    99.9980     0.7215    90.9000    10.0946      0.0929
 567     0.0010     0.0002    99.9960     0.7216    90.8800    10.2087      0.0929
 568     0.0010     0.0001   100.0000     0.7214    90.9000    10.1738      0.0929
 569     0.0010     0.0001   100.0000     0.7214    90.9200    10.1952      0.0929
 570     0.0010     0.0001    99.9980     0.7214    90.9200    10.2320      0.0929
 571     0.0010     0.0001   100.0000     0.7214    90.9100    10.1869      0.0929
 572     0.0010     0.0001    99.9980     0.7213    90.9300    10.1423      0.0929
 573     0.0010     0.0002    99.9960     0.7214    90.9200    10.1095      0.0929
 574     0.0010     0.0001   100.0000     0.7216    90.9200    10.1077      0.0929
 575     0.0010     0.0001   100.0000     0.7217    90.9200    10.1015      0.0929
 576     0.0010     0.0001   100.0000     0.7219    90.8900    10.1733      0.0929
 577     0.0010     0.0001   100.0000     0.7220    90.9000    10.0923      0.0929
 578     0.0010     0.0001    99.9980     0.7223    90.9000    10.2046      0.0929
 579     0.0010     0.0001    99.9980     0.7223    90.8900    10.1202      0.0929
 580     0.0010     0.0001   100.0000     0.7226    90.8700    10.1729      0.0929
 581     0.0010     0.0002    99.9960     0.7219    90.9300    10.1069      0.0929
 582     0.0010     0.0001    99.9980     0.7216    90.9000    10.1040      0.0929
 583     0.0010     0.0001   100.0000     0.7218    90.9300    10.0070      0.0929
 584     0.0010     0.0001   100.0000     0.7220    90.9100    10.0899      0.0929
 585     0.0010     0.0002    99.9960     0.7222    90.9200    10.1324      0.0929
 586     0.0010     0.0002    99.9980     0.7220    90.9200    10.0125      0.0929
 587     0.0010     0.0001    99.9980     0.7221    90.9100    10.0892      0.0929
 588     0.0010     0.0001   100.0000     0.7222    90.9300    10.0752      0.0929
 589     0.0010     0.0003    99.9960     0.7220    90.9300    10.1302      0.0929
 590     0.0010     0.0001   100.0000     0.7222    90.9300    10.1255      0.0929
 591     0.0010     0.0001    99.9960     0.7223    90.9300    10.1262      0.0929
 592     0.0010     0.0001   100.0000     0.7224    90.9500    10.0858      0.0929
 593     0.0010     0.0001   100.0000     0.7223    90.9400    10.1219      0.0929
 594     0.0010     0.0002    99.9940     0.7223    90.9400    10.1866      0.0929
 595     0.0010     0.0001   100.0000     0.7226    90.9400    10.1518      0.0929
 596     0.0010     0.0001    99.9980     0.7226    90.9300    10.1638      0.0929
 597     0.0010     0.0001    99.9980     0.7228    90.9300    10.1110      0.0929
 598     0.0010     0.0001    99.9980     0.7230    90.9300    10.1122      0.0929
 599     0.0010     0.0001    99.9960     0.7234    90.9100    10.0956      0.0929
 600     0.0010     0.0001   100.0000     0.7236    90.9200    10.1351      0.0929
