Files already downloaded and verified
You are going to run models on the test set. Are you sure?
Files already downloaded and verified
layer_blocks.0.0.weight
layer_blocks.0.0.bias
layer_blocks.0.1.weight
layer_blocks.0.1.bias
layer_blocks.1.0.weight
layer_blocks.1.0.bias
layer_blocks.1.1.weight
layer_blocks.1.1.bias
layer_blocks.2.0.weight
layer_blocks.2.0.bias
layer_blocks.2.1.weight
layer_blocks.2.1.bias
layer_blocks.2.2.weight
layer_blocks.2.2.bias
layer_blocks.3.0.weight
layer_blocks.3.0.bias
layer_blocks.3.1.weight
layer_blocks.3.1.bias
layer_blocks.3.2.weight
layer_blocks.3.2.bias
layer_blocks.4.0.weight
layer_blocks.4.0.bias
layer_blocks.4.1.weight
layer_blocks.4.1.bias
layer_blocks.4.2.weight
layer_blocks.4.2.bias
classifier.1.weight
classifier.1.bias
classifier.4.weight
classifier.4.bias
classifier.6.weight
classifier.6.bias
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
   1     0.1000     2.0372    22.4100     2.0287    22.9600    14.3593      0.9481
   2     0.1000     2.0088    21.0380     1.9905    22.2300    13.2472      0.9215
   3     0.1000     1.7613    32.0680     1.7213    33.6700    13.3571      0.9001
   4     0.1000     1.6149    37.4720     1.5892    38.7400    13.5540      0.8815
   5     0.1000     1.5160    42.6960     1.4958    42.4500    13.2645      0.8650
   6     0.1000     1.3784    48.0840     1.3487    48.6100    13.2631      0.8497
   7     0.1000     1.2717    54.4660     1.2307    55.0500    13.3377      0.8356
   8     0.1000     1.1903    57.2520     1.1677    57.9400    13.3783      0.8224
   9     0.1000     1.0035    64.4620     0.9961    64.7000    13.2899      0.8099
  10     0.1000     0.9059    68.1260     0.9324    67.3600    13.2374      0.7981
  11     0.1000     0.8791    69.1440     0.8705    69.6700    13.2888      0.7867
  12     0.1000     0.7802    72.6760     0.8088    72.2100    13.1781      0.7759
  13     0.1000     0.7236    74.9220     0.7533    74.4000    13.3286      0.7656
  14     0.1000     0.6857    76.3660     0.7313    75.8900    13.0731      0.7556
  15     0.1000     0.6942    76.6200     0.7699    74.9100    13.3851      0.7461
  16     0.1000     0.5625    80.9080     0.6167    79.4100    13.1422      0.7368
  17     0.1000     0.5652    80.8200     0.6195    79.9500    13.2153      0.7278
  18     0.1000     0.4922    83.3820     0.5844    81.6700    13.2592      0.7191
  19     0.1000     0.5247    82.1480     0.6153    80.0900    13.1275      0.7107
  20     0.1000     0.5118    83.1480     0.6195    80.1900    13.3977      0.7025
  21     0.1000     0.4842    83.8700     0.6062    80.8900    13.2133      0.6945
  22     0.1000     0.4571    84.7960     0.5769    81.9600    13.3664      0.6868
  23     0.1000     0.4342    85.4000     0.5465    82.5400    13.3291      0.6793
  24     0.1000     0.4734    84.4020     0.6347    80.6500    13.3400      0.6719
  25     0.1000     0.3515    88.1340     0.4999    84.0400    13.2593      0.6647
  26     0.1000     0.3815    87.2600     0.5574    83.0000    13.5049      0.6577
  27     0.1000     0.3699    87.7020     0.5463    83.1600    13.3723      0.6509
  28     0.1000     0.4746    84.8500     0.6515    81.3000    13.4464      0.6443
  29     0.1000     0.2954    89.9860     0.4757    85.3200    13.2743      0.6376
  30     0.1000     0.2780    90.8840     0.4736    85.8800    13.3771      0.6313
  31     0.1000     0.3087    89.4900     0.5170    84.3500    13.3143      0.6250
  32     0.1000     0.2695    91.0240     0.4786    85.4600    13.2179      0.6189
  33     0.1000     0.3282    89.1380     0.5322    84.3200    13.3224      0.6129
  34     0.1000     0.2499    91.6820     0.4831    85.8000    13.1521      0.6070
  35     0.1000     0.2415    91.9120     0.4836    85.6400    13.2798      0.6012
  36     0.1000     0.2352    92.0200     0.5248    85.5700    13.2376      0.5956
  37     0.1000     0.2032    93.1620     0.4598    87.0200    13.3434      0.5900
  38     0.1000     0.2360    92.1080     0.5091    85.8400    13.3378      0.5846
  39     0.1000     0.2333    92.2580     0.4973    85.9400    13.1936      0.5792
  40     0.1000     0.2842    90.9240     0.5707    84.8000    13.2150      0.5740
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  41     0.1000     0.1906    93.6920     0.4871    86.6500    13.2978      0.5688
  42     0.1000     0.1964    93.3740     0.4799    86.5100    13.2859      0.5637
  43     0.1000     0.2378    92.1080     0.5581    85.1700    13.2717      0.5587
  44     0.1000     0.1646    94.5800     0.4729    87.0800    13.2662      0.5538
  45     0.1000     0.1453    95.0500     0.4590    87.3800    13.2522      0.5490
  46     0.1000     0.1658    94.5360     0.5039    86.6300    13.2956      0.5442
  47     0.1000     0.2063    93.3280     0.5381    85.6800    13.1529      0.5395
  48     0.1000     0.1477    94.9880     0.4707    86.9400    13.2001      0.5349
  49     0.1000     0.1699    94.2940     0.5154    86.0400    13.4143      0.5304
  50     0.1000     0.1411    95.2680     0.5000    87.1600    13.3019      0.5260
  51     0.1000     0.1236    95.7920     0.4748    87.7300    13.2678      0.5216
  52     0.1000     0.1480    95.0600     0.5311    86.7100    13.1425      0.5172
  53     0.1000     0.1367    95.4340     0.5046    87.1100    13.3944      0.5130
  54     0.1000     0.1726    94.2320     0.5563    86.1800    13.1603      0.5088
  55     0.1000     0.1516    95.0120     0.5631    86.3000    13.1434      0.5046
  56     0.1000     0.1416    95.1660     0.5037    86.9500    13.1595      0.5005
  57     0.1000     0.0986    96.6280     0.4922    87.8100    13.1538      0.4965
  58     0.1000     0.0910    96.9380     0.4705    88.1400    13.2964      0.4925
  59     0.1000     0.1701    94.5280     0.5507    86.2800    13.1583      0.4885
  60     0.1000     0.1026    96.5460     0.4888    87.6800    13.2569      0.4847
  61     0.1000     0.1018    96.6240     0.5229    87.7300    13.2711      0.4809
  62     0.1000     0.0865    97.0960     0.5040    87.6300    13.2003      0.4772
  63     0.1000     0.0874    97.0700     0.4913    87.7300    13.2255      0.4735
  64     0.1000     0.1062    96.4260     0.5206    87.5200    13.1727      0.4698
  65     0.1000     0.1021    96.6580     0.5324    87.5900    13.3503      0.4662
  66     0.1000     0.0852    97.0700     0.5104    87.8600    13.1903      0.4626
  67     0.1000     0.1034    96.5400     0.5228    87.3200    13.2197      0.4590
  68     0.1000     0.0906    96.9720     0.5248    88.0200    13.3064      0.4555
  69     0.1000     0.0995    96.8040     0.5635    87.5400    13.2357      0.4521
  70     0.1000     0.0706    97.6980     0.5119    88.5600    13.2014      0.4487
  71     0.1000     0.0696    97.6820     0.5113    88.0600    13.4166      0.4454
  72     0.1000     0.0661    97.7580     0.5096    88.2500    13.0559      0.4420
  73     0.1000     0.0724    97.5820     0.5291    88.0800    13.1332      0.4388
  74     0.1000     0.0795    97.3080     0.5636    87.5100    13.1958      0.4355
  75     0.1000     0.0598    98.0720     0.5622    87.8900    13.2430      0.4323
  76     0.1000     0.0778    97.3700     0.5482    87.9300    13.2883      0.4291
  77     0.1000     0.0958    96.8960     0.5916    87.2500    13.2372      0.4260
  78     0.1000     0.0601    97.9680     0.5149    88.4500    13.4746      0.4229
  79     0.1000     0.0840    97.2800     0.5455    87.6000    13.3441      0.4198
  80     0.1000     0.0581    98.0200     0.5437    88.3300    13.3705      0.4167
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  81     0.1000     0.0606    97.9780     0.5674    88.3500    13.3222      0.4137
  82     0.1000     0.0589    98.0340     0.5535    88.1100    13.3403      0.4107
  83     0.1000     0.1211    96.0580     0.6325    86.7100    13.2673      0.4078
  84     0.1000     0.0618    98.0040     0.5394    88.0400    13.2451      0.4050
  85     0.1000     0.0569    98.1080     0.5722    87.8400    13.4417      0.4021
  86     0.1000     0.0723    97.5540     0.6130    87.5500    13.3979      0.3993
  87     0.1000     0.0345    98.8640     0.5440    89.0400    13.3115      0.3964
  88     0.1000     0.0486    98.3280     0.5779    88.1900    13.4464      0.3936
  89     0.1000     0.0466    98.4460     0.5188    88.1000    13.2941      0.3909
  90     0.1000     0.0673    97.7060     0.5864    87.9000    13.2459      0.3882
  91     0.1000     0.0379    98.7900     0.5023    89.0700    13.2629      0.3855
  92     0.1000     0.0423    98.6460     0.5367    88.3600    13.4810      0.3829
  93     0.1000     0.0420    98.6340     0.5644    88.4900    13.3719      0.3802
  94     0.1000     0.0401    98.7280     0.5634    88.8600    13.3072      0.3777
  95     0.1000     0.0484    98.4000     0.5442    88.9500    13.2563      0.3751
  96     0.1000     0.0364    98.8300     0.5813    88.4100    13.3919      0.3725
  97     0.1000     0.0371    98.8200     0.5432    88.6500    13.3286      0.3700
  98     0.1000     0.0549    98.2040     0.6016    88.1100    13.3454      0.3675
  99     0.1000     0.0343    98.8540     0.5674    89.0500    13.2023      0.3650
 100     0.1000     0.0297    99.0440     0.5609    89.1700    13.2995      0.3626
 101     0.1000     0.0381    98.6740     0.5600    88.6100    13.3495      0.3601
 102     0.1000     0.0298    99.0240     0.5719    89.1300    13.2616      0.3577
 103     0.1000     0.0354    98.8380     0.5560    89.1200    13.4095      0.3553
 104     0.1000     0.0563    98.1720     0.6058    88.4400    13.2643      0.3530
 105     0.1000     0.0323    98.8920     0.5589    88.9000    13.2646      0.3507
 106     0.1000     0.0394    98.7780     0.5549    88.7500    13.1759      0.3483
 107     0.1000     0.0497    98.3440     0.5828    88.4400    13.4272      0.3460
 108     0.1000     0.0323    98.8940     0.5465    88.7600    13.1910      0.3438
 109     0.1000     0.0374    98.8120     0.5951    88.4500    13.1922      0.3416
 110     0.1000     0.0250    99.1860     0.5709    89.3600    13.3538      0.3394
 111     0.1000     0.0301    99.0480     0.5559    89.0600    13.4578      0.3371
 112     0.1000     0.0268    99.1320     0.5528    89.2700    13.3373      0.3350
 113     0.1000     0.0322    98.9180     0.5918    88.9400    13.2786      0.3329
 114     0.1000     0.0211    99.3280     0.5705    89.0100    13.3811      0.3308
 115     0.1000     0.0516    98.3660     0.6338    87.9900    13.1658      0.3287
 116     0.1000     0.0237    99.1960     0.5663    89.2900    13.2950      0.3266
 117     0.1000     0.0285    99.0420     0.5752    89.1600    13.2569      0.3245
 118     0.1000     0.0327    98.8880     0.5724    89.1400    13.3848      0.3224
 119     0.1000     0.0731    97.7980     0.6990    87.5200    13.2769      0.3204
 120     0.1000     0.0216    99.2900     0.5445    89.2500    13.2829      0.3184
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 121     0.1000     0.0251    99.1560     0.5680    89.3500    13.4729      0.3164
 122     0.1000     0.0238    99.2220     0.5462    89.7100    13.2576      0.3145
 123     0.1000     0.0253    99.1820     0.5695    89.7300    13.3570      0.3126
 124     0.1000     0.0209    99.3420     0.5724    89.3200    13.3392      0.3106
 125     0.1000     0.0280    99.1320     0.5686    89.2000    13.1775      0.3087
 126     0.1000     0.0285    99.0520     0.6097    88.8400    13.1685      0.3068
 127     0.1000     0.0243    99.2180     0.5350    89.2700    13.3822      0.3050
 128     0.1000     0.0189    99.3920     0.5769    89.6300    13.3089      0.3031
 129     0.1000     0.0230    99.2640     0.5932    89.0400    13.1275      0.3013
 130     0.1000     0.0220    99.2800     0.5973    89.1300    13.6318      0.2995
 131     0.1000     0.0654    98.1360     0.6696    87.9700    13.3295      0.2976
 132     0.1000     0.0315    98.9200     0.6235    88.7600    13.1983      0.2958
 133     0.1000     0.0197    99.3520     0.5887    89.0500    13.1228      0.2941
 134     0.1000     0.0484    98.3760     0.6069    88.5700    13.4560      0.2923
 135     0.1000     0.0238    99.2040     0.5856    89.0800    13.2322      0.2906
 136     0.1000     0.0307    99.0360     0.6539    88.5600    13.3895      0.2888
 137     0.1000     0.0353    98.9480     0.6073    88.3200    13.2149      0.2872
 138     0.1000     0.0162    99.4620     0.5612    88.9300    13.1975      0.2855
 139     0.1000     0.0288    99.0760     0.6040    88.7800    13.3436      0.2838
 140     0.1000     0.0203    99.3300     0.6118    89.1200    13.2023      0.2822
 141     0.1000     0.0440    98.5960     0.5944    89.0800    13.2644      0.2806
 142     0.1000     0.0233    99.2480     0.5650    89.2600    13.3843      0.2789
 143     0.1000     0.0201    99.3380     0.5740    89.4500    13.2372      0.2773
 144     0.1000     0.0207    99.3240     0.6078    89.3100    13.1625      0.2757
 145     0.1000     0.0377    98.7760     0.5983    88.7500    13.1921      0.2741
 146     0.1000     0.0137    99.5700     0.6034    89.4100    13.0934      0.2726
 147     0.1000     0.0173    99.4580     0.5763    89.5400    13.1857      0.2710
 148     0.1000     0.0202    99.3680     0.6101    89.4000    13.4876      0.2694
 149     0.1000     0.0221    99.2540     0.5963    88.8900    13.3503      0.2679
 150     0.1000     0.0154    99.5100     0.5948    89.3900    13.1365      0.2663
 151     0.1000     0.0258    99.1760     0.6013    89.0400    13.3132      0.2648
 152     0.1000     0.0162    99.4500     0.5820    89.3100    13.2913      0.2633
 153     0.1000     0.0238    99.1860     0.5995    88.9700    13.2465      0.2619
 154     0.1000     0.0129    99.5640     0.6011    89.4100    13.2595      0.2604
 155     0.1000     0.0331    98.9960     0.6281    88.9900    13.3594      0.2590
 156     0.1000     0.0125    99.5840     0.5719    89.8000    13.3032      0.2575
 157     0.1000     0.0270    99.1560     0.6325    89.0300    13.5112      0.2561
 158     0.1000     0.0266    99.1600     0.6052    89.0400    13.4500      0.2547
 159     0.1000     0.0153    99.4720     0.5971    89.4500    13.1978      0.2533
 160     0.1000     0.0160    99.4660     0.5950    89.6700    13.4004      0.2519
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 161     0.1000     0.0160    99.4120     0.6195    89.5900    13.2521      0.2505
 162     0.1000     0.0239    99.2520     0.5888    89.0300    13.2273      0.2492
 163     0.1000     0.0157    99.4960     0.5887    89.3000    13.3353      0.2478
 164     0.1000     0.0159    99.4680     0.5943    89.5400    13.3025      0.2465
 165     0.1000     0.0119    99.6280     0.5521    89.7900    13.3490      0.2452
 166     0.1000     0.0332    99.0260     0.6792    88.9600    13.2695      0.2439
 167     0.1000     0.0181    99.3820     0.5669    89.2400    13.1968      0.2426
 168     0.1000     0.0165    99.4600     0.6222    89.4500    13.1855      0.2414
 169     0.1000     0.0160    99.4860     0.5890    89.6100    13.1700      0.2401
 170     0.1000     0.0131    99.5700     0.6016    89.6300    13.3646      0.2388
 171     0.1000     0.0205    99.3740     0.6282    89.0400    13.3250      0.2376
 172     0.1000     0.0495    98.5340     0.6584    88.4800    13.3456      0.2364
 173     0.1000     0.0234    99.2580     0.6487    89.1000    13.1768      0.2351
 174     0.1000     0.0172    99.4360     0.5815    89.1500    13.2437      0.2339
 175     0.1000     0.0130    99.5580     0.5875    89.6400    13.3963      0.2327
 176     0.1000     0.0135    99.5300     0.6124    89.6000    13.1100      0.2315
 177     0.1000     0.0197    99.3600     0.6083    89.3900    13.1989      0.2303
 178     0.1000     0.0151    99.5060     0.6029    89.6900    13.3525      0.2292
 179     0.1000     0.0161    99.4560     0.5929    89.6800    13.3695      0.2280
 180     0.1000     0.0125    99.5860     0.5734    89.9200    13.3333      0.2269
 181     0.1000     0.0146    99.5080     0.5842    89.7000    13.1739      0.2257
 182     0.1000     0.0136    99.5340     0.6066    89.3400    13.2246      0.2246
 183     0.1000     0.0103    99.6380     0.6032    89.3100    13.3045      0.2234
 184     0.1000     0.0169    99.4520     0.6160    89.2800    13.3063      0.2223
 185     0.1000     0.0154    99.4600     0.6331    89.6500    13.1332      0.2212
 186     0.1000     0.0363    98.8700     0.6914    88.6300    13.2221      0.2201
 187     0.1000     0.0147    99.5420     0.6268    89.4600    13.2072      0.2191
 188     0.1000     0.0194    99.3920     0.6005    89.2600    13.2687      0.2180
 189     0.1000     0.0169    99.4860     0.6307    89.2700    13.1338      0.2169
 190     0.1000     0.0151    99.4900     0.5793    89.5800    13.1899      0.2159
 191     0.1000     0.0137    99.5460     0.6291    89.4700    13.2968      0.2149
 192     0.1000     0.0155    99.5260     0.5882    89.5400    13.2701      0.2138
 193     0.1000     0.0137    99.5380     0.6360    89.6700    13.3853      0.2128
 194     0.1000     0.0133    99.5760     0.5834    89.4900    13.2713      0.2118
 195     0.1000     0.0168    99.4560     0.5894    89.1800    13.3383      0.2108
 196     0.1000     0.0145    99.5520     0.6376    89.3200    13.1978      0.2098
 197     0.1000     0.0129    99.5680     0.5714    89.8600    13.2770      0.2088
 198     0.1000     0.0115    99.6200     0.5884    89.6000    13.2076      0.2078
 199     0.1000     0.0111    99.6320     0.6089    89.8200    13.1684      0.2068
 200     0.1000     0.0113    99.6300     0.5493    89.9700    13.2404      0.2058
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 201     0.1000     0.0099    99.6500     0.6209    89.8600    13.3181      0.2048
 202     0.1000     0.0151    99.4940     0.6073    89.3300    13.2612      0.2039
 203     0.1000     0.0096    99.6620     0.5941    89.8800    13.1913      0.2029
 204     0.1000     0.0124    99.6300     0.5698    89.8000    13.3853      0.2019
 205     0.1000     0.0135    99.5420     0.6142    89.8400    13.2776      0.2010
 206     0.1000     0.0162    99.4660     0.6309    89.2300    13.3046      0.2000
 207     0.1000     0.0108    99.6400     0.6025    89.7500    13.3553      0.1991
 208     0.1000     0.0161    99.5160     0.6460    89.4800    13.1942      0.1982
 209     0.1000     0.0085    99.7480     0.5893    90.0200    13.3264      0.1973
 210     0.1000     0.0129    99.5780     0.6057    89.5500    13.3495      0.1964
 211     0.1000     0.0094    99.7280     0.5693    89.9800    13.2284      0.1955
 212     0.1000     0.0165    99.4800     0.6107    89.6700    13.2832      0.1947
 213     0.1000     0.0120    99.6240     0.6124    89.9500    13.4261      0.1937
 214     0.1000     0.0192    99.4180     0.5888    89.3100    13.2102      0.1929
 215     0.1000     0.0133    99.5640     0.6237    89.4900    13.1599      0.1921
 216     0.1000     0.0176    99.4500     0.6299    88.9900    13.2106      0.1912
 217     0.1000     0.0127    99.5700     0.6253    89.1900    13.2682      0.1904
 218     0.1000     0.0103    99.6580     0.5910    89.8400    13.3650      0.1895
 219     0.1000     0.0060    99.8060     0.6119    89.8000    13.3858      0.1886
 220     0.1000     0.0086    99.7320     0.6255    89.7200    13.5015      0.1878
 221     0.1000     0.0270    99.1480     0.6560    88.8200    13.3845      0.1870
 222     0.1000     0.0112    99.6460     0.5813    89.9100    13.3278      0.1861
 223     0.1000     0.0099    99.6940     0.6215    89.8200    13.1676      0.1853
 224     0.1000     0.0097    99.6840     0.6018    89.8400    13.1782      0.1845
 225     0.1000     0.0146    99.5180     0.6108    89.6200    13.2679      0.1837
 226     0.1000     0.0120    99.6040     0.5953    89.5700    13.1663      0.1829
 227     0.1000     0.0078    99.7300     0.6128    90.1300    13.5242      0.1821
 228     0.1000     0.0116    99.6240     0.6170    89.3800    13.2641      0.1814
 229     0.1000     0.0119    99.6500     0.6118    89.7100    13.4488      0.1806
 230     0.1000     0.0111    99.6660     0.6008    89.8200    13.3415      0.1798
 231     0.1000     0.0159    99.4760     0.6328    89.1700    13.1973      0.1790
 232     0.1000     0.0159    99.4580     0.6231    89.7000    13.5584      0.1783
 233     0.1000     0.0190    99.4000     0.6374    89.4000    13.3413      0.1775
 234     0.1000     0.0105    99.6740     0.5921    89.8300    13.1563      0.1768
 235     0.1000     0.0121    99.6060     0.6433    89.7600    13.2859      0.1761
 236     0.1000     0.0114    99.6420     0.5714    90.2800    13.3067      0.1753
 237     0.1000     0.0161    99.4660     0.5899    89.2900    13.2968      0.1746
 238     0.1000     0.0099    99.6640     0.6258    89.3900    13.3706      0.1739
 239     0.1000     0.0080    99.7500     0.6064    90.0200    13.4189      0.1731
 240     0.1000     0.0093    99.6860     0.5862    89.7300    13.4327      0.1724
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 241     0.1000     0.0120    99.5860     0.6061    89.5500    13.2628      0.1717
 242     0.1000     0.0352    98.9940     0.6602    88.8500    13.2650      0.1710
 243     0.1000     0.0075    99.7880     0.5959    90.0300    13.2748      0.1704
 244     0.1000     0.0083    99.7400     0.5812    89.9700    13.2731      0.1697
 245     0.1000     0.0076    99.7400     0.6114    89.8300    13.2735      0.1691
 246     0.1000     0.0072    99.7520     0.5981    90.0100    13.4048      0.1684
 247     0.1000     0.0074    99.7480     0.6145    90.1300    13.4050      0.1677
 248     0.1000     0.0079    99.7440     0.5966    89.7800    13.1710      0.1669
 249     0.1000     0.0091    99.7280     0.6201    89.8000    13.2116      0.1663
 250     0.1000     0.0079    99.7380     0.6141    89.9500    13.2774      0.1656
 251     0.1000     0.0079    99.7660     0.6082    90.0500    13.2842      0.1649
 252     0.1000     0.0126    99.5800     0.6251    89.4500    13.3224      0.1643
 253     0.1000     0.0096    99.6800     0.6223    89.8200    13.4039      0.1637
 254     0.1000     0.0077    99.7480     0.6053    90.0600    13.2258      0.1630
 255     0.1000     0.0095    99.7080     0.6175    89.8700    13.3268      0.1624
 256     0.1000     0.0079    99.7260     0.5831    90.2200    13.2891      0.1618
 257     0.1000     0.0099    99.6680     0.6271    89.6900    13.3467      0.1612
 258     0.1000     0.0091    99.6920     0.6285    89.7200    13.3120      0.1605
 259     0.1000     0.0091    99.7080     0.5922    90.0300    13.2632      0.1599
 260     0.1000     0.0082    99.7360     0.5994    89.9100    13.2992      0.1593
 261     0.1000     0.0075    99.7620     0.6031    90.0000    13.3044      0.1587
 262     0.1000     0.0099    99.7000     0.6616    89.4800    13.2130      0.1581
 263     0.1000     0.0158    99.5200     0.6440    89.5600    13.2258      0.1575
 264     0.1000     0.0080    99.7540     0.6026    90.0400    13.4123      0.1569
 265     0.1000     0.0138    99.5820     0.6306    89.5300    13.3455      0.1563
 266     0.1000     0.0069    99.7860     0.6202    89.8100    13.3125      0.1557
 267     0.1000     0.0070    99.7940     0.6009    89.7200    13.2133      0.1551
 268     0.1000     0.0102    99.6560     0.5976    89.8100    13.1440      0.1545
 269     0.1000     0.0054    99.8120     0.6009    89.9600    13.4306      0.1539
 270     0.1000     0.0080    99.7480     0.5803    90.1100    13.4187      0.1534
 271     0.1000     0.0100    99.6440     0.6100    89.4000    13.1371      0.1528
 272     0.1000     0.0094    99.6760     0.6039    89.6500    13.2055      0.1522
 273     0.1000     0.0085    99.7180     0.6112    89.5900    13.1828      0.1517
 274     0.1000     0.0124    99.6080     0.6329    89.5300    13.1932      0.1512
 275     0.1000     0.0090    99.7200     0.6277    89.8400    13.3547      0.1506
 276     0.1000     0.0060    99.7940     0.5980    90.3800    13.4675      0.1501
 277     0.1000     0.0090    99.6840     0.5983    89.7800    13.3009      0.1496
 278     0.1000     0.0059    99.8260     0.5964    90.0300    13.3052      0.1490
 279     0.1000     0.0087    99.7040     0.6267    89.9000    13.5306      0.1484
 280     0.1000     0.0174    99.4080     0.7092    89.3300    13.4206      0.1479
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 281     0.1000     0.0061    99.8180     0.5819    89.9500    13.2390      0.1474
 282     0.1000     0.0080    99.7340     0.6094    89.7000    13.4018      0.1469
 283     0.1000     0.0080    99.7320     0.6411    89.6800    13.3593      0.1463
 284     0.1000     0.0109    99.6280     0.6208    89.5600    13.2827      0.1458
 285     0.1000     0.0074    99.7520     0.6212    89.9600    13.2199      0.1453
 286     0.1000     0.0133    99.5660     0.6527    89.4100    13.2231      0.1448
 287     0.1000     0.0111    99.6220     0.6291    89.5300    13.2691      0.1443
 288     0.1000     0.0045    99.8580     0.5743    90.2800    13.2953      0.1437
 289     0.1000     0.0088    99.7000     0.6006    90.0600    13.3247      0.1432
 290     0.1000     0.0045    99.8540     0.5948    90.3400    13.2384      0.1427
 291     0.1000     0.0096    99.6920     0.6413    89.7400    13.2725      0.1423
 292     0.1000     0.0055    99.8300     0.6322    90.1500    13.3324      0.1417
 293     0.1000     0.0087    99.7260     0.6157    90.2200    13.2410      0.1413
 294     0.1000     0.0054    99.8120     0.6400    89.9800    13.4126      0.1408
 295     0.1000     0.0080    99.7440     0.6143    89.9100    13.2784      0.1403
 296     0.1000     0.0136    99.5540     0.6645    89.0700    13.3183      0.1399
 297     0.1000     0.0096    99.7100     0.6211    89.5700    13.2852      0.1394
 298     0.1000     0.0080    99.7380     0.6308    89.6800    13.3742      0.1390
 299     0.1000     0.0064    99.7920     0.6180    89.8300    13.3885      0.1385
 300     0.1000     0.0060    99.7880     0.6131    89.9200    13.4069      0.1381
 301     0.0996     0.0089    99.7320     0.6581    89.4600    13.2135      0.1376
 302     0.0992     0.0058    99.8200     0.6164    90.0000    13.3215      0.1372
 303     0.0988     0.0097    99.7040     0.6203    89.4900    13.1765      0.1367
 304     0.0983     0.0076    99.7600     0.6270    89.7200    13.2024      0.1363
 305     0.0979     0.0076    99.7780     0.6251    89.8000    13.2865      0.1359
 306     0.0975     0.0076    99.7440     0.6744    89.5000    13.3845      0.1354
 307     0.0971     0.0111    99.6280     0.6165    89.7900    13.2818      0.1350
 308     0.0967     0.0066    99.7740     0.6453    90.3000    13.3366      0.1346
 309     0.0963     0.0062    99.7840     0.6394    89.8600    13.3680      0.1342
 310     0.0959     0.0093    99.6840     0.6769    89.5600    13.4043      0.1338
 311     0.0955     0.0135    99.5800     0.6639    89.1200    13.3748      0.1334
 312     0.0950     0.0112    99.6520     0.6623    89.4400    13.3901      0.1330
 313     0.0946     0.0048    99.8360     0.6113    90.1000    13.2040      0.1326
 314     0.0942     0.0050    99.8460     0.6336    89.9800    13.3760      0.1322
 315     0.0938     0.0072    99.7540     0.6323    89.8200    13.3627      0.1318
 316     0.0934     0.0080    99.7600     0.6357    89.9200    13.2108      0.1314
 317     0.0930     0.0055    99.8340     0.6604    89.7900    13.4068      0.1310
 318     0.0926     0.0090    99.7000     0.6478    89.6800    13.2161      0.1307
 319     0.0922     0.0065    99.8060     0.6840    89.8900    13.2898      0.1303
 320     0.0917     0.0041    99.8700     0.6329    89.9200    13.1757      0.1299
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 321     0.0913     0.0053    99.8300     0.6475    89.9000    13.3091      0.1295
 322     0.0909     0.0064    99.7860     0.6474    90.0100    13.3685      0.1291
 323     0.0905     0.0047    99.8400     0.6576    89.8500    13.1875      0.1287
 324     0.0901     0.0036    99.8700     0.6398    90.1900    13.3911      0.1284
 325     0.0897     0.0087    99.7260     0.6782    89.7400    13.3001      0.1280
 326     0.0893     0.0048    99.8320     0.6241    89.9600    13.2883      0.1276
 327     0.0889     0.0049    99.8400     0.6718    89.8900    13.3416      0.1273
 328     0.0885     0.0051    99.8340     0.6251    90.1000    13.4981      0.1269
 329     0.0880     0.0067    99.7940     0.6443    90.1900    13.3404      0.1266
 330     0.0876     0.0053    99.8160     0.6576    90.1600    13.3798      0.1263
 331     0.0872     0.0057    99.8260     0.6637    89.8600    13.1808      0.1259
 332     0.0868     0.0066    99.7800     0.6766    90.1700    13.3323      0.1256
 333     0.0864     0.0053    99.8180     0.6597    89.8600    13.4912      0.1252
 334     0.0860     0.0023    99.9080     0.6360    90.3000    13.3524      0.1249
 335     0.0856     0.0057    99.8160     0.7059    89.7200    13.2795      0.1246
 336     0.0852     0.0067    99.7800     0.6675    89.9000    13.2094      0.1242
 337     0.0847     0.0044    99.8540     0.6737    89.9900    13.3247      0.1239
 338     0.0843     0.0054    99.8220     0.6710    89.7300    13.2660      0.1236
 339     0.0839     0.0067    99.7900     0.6959    89.6500    13.3265      0.1233
 340     0.0835     0.0064    99.7800     0.6676    90.0400    13.2677      0.1229
 341     0.0831     0.0053    99.8240     0.6733    89.8600    13.3800      0.1227
 342     0.0827     0.0029    99.9080     0.6476    90.3500    13.3202      0.1224
 343     0.0823     0.0038    99.8820     0.6442    90.3000    13.1266      0.1221
 344     0.0818     0.0023    99.9260     0.6658    90.6600    13.3135      0.1218
 345     0.0814     0.0119    99.6440     0.7370    89.3600    13.2734      0.1214
 346     0.0810     0.0036    99.8740     0.6609    90.2500    13.3071      0.1211
 347     0.0806     0.0041    99.8640     0.6692    90.1600    13.1859      0.1209
 348     0.0802     0.0083    99.7400     0.7079    89.7100    13.2622      0.1206
 349     0.0798     0.0030    99.9020     0.6578    90.0700    13.2149      0.1203
 350     0.0794     0.0059    99.8020     0.7020    89.8000    13.3945      0.1200
 351     0.0790     0.0033    99.9020     0.6861    89.9200    13.3817      0.1197
 352     0.0786     0.0033    99.8900     0.6647    89.9600    13.2019      0.1194
 353     0.0781     0.0029    99.9080     0.6722    90.1900    13.2133      0.1191
 354     0.0777     0.0044    99.8640     0.6852    89.8800    13.3486      0.1188
 355     0.0773     0.0030    99.9120     0.6842    90.3700    13.4129      0.1185
 356     0.0769     0.0040    99.8740     0.7179    89.8000    13.2694      0.1183
 357     0.0765     0.0019    99.9420     0.6915    90.1400    13.2689      0.1180
 358     0.0761     0.0016    99.9500     0.6832    90.1600    13.1762      0.1177
 359     0.0757     0.0026    99.9060     0.6878    90.1800    13.2814      0.1174
 360     0.0753     0.0021    99.9480     0.6736    90.3500    13.3225      0.1172
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 361     0.0748     0.0018    99.9400     0.6844    90.2500    13.3004      0.1169
 362     0.0744     0.0026    99.9220     0.6948    90.3300    13.2322      0.1167
 363     0.0740     0.0028    99.9100     0.6969    90.2000    13.3120      0.1164
 364     0.0736     0.0020    99.9380     0.6981    90.2900    13.4504      0.1161
 365     0.0732     0.0058    99.8320     0.7318    89.9600    13.4212      0.1159
 366     0.0728     0.0027    99.9140     0.6744    89.9100    13.1756      0.1156
 367     0.0724     0.0018    99.9540     0.6664    90.0700    13.3274      0.1154
 368     0.0720     0.0023    99.9180     0.6910    90.1600    13.2427      0.1152
 369     0.0715     0.0025    99.9140     0.6466    90.5100    13.3946      0.1149
 370     0.0711     0.0038    99.8620     0.6957    90.0200    13.2733      0.1147
 371     0.0707     0.0038    99.8860     0.7193    90.0000    13.3344      0.1144
 372     0.0703     0.0032    99.8920     0.6602    90.0200    13.3189      0.1142
 373     0.0699     0.0029    99.9020     0.6952    90.0600    13.4073      0.1139
 374     0.0695     0.0020    99.9360     0.6837    90.3900    13.1528      0.1137
 375     0.0691     0.0012    99.9680     0.6677    90.3300    13.2410      0.1134
 376     0.0686     0.0016    99.9500     0.6810    90.5000    13.0219      0.1132
 377     0.0682     0.0015    99.9460     0.7049    90.6000    13.3510      0.1130
 378     0.0678     0.0009    99.9780     0.6854    90.5500    13.3180      0.1128
 379     0.0674     0.0402    99.1700     0.7608    89.2100    13.2335      0.1125
 380     0.0670     0.0030    99.9100     0.7085    90.2900    13.1602      0.1123
 381     0.0666     0.0027    99.9200     0.7133    90.0700    13.2768      0.1121
 382     0.0662     0.0018    99.9360     0.6853    90.3700    13.4428      0.1119
 383     0.0658     0.0017    99.9540     0.6944    90.1700    13.2998      0.1117
 384     0.0654     0.0007    99.9760     0.6610    90.5700    13.3596      0.1114
 385     0.0649     0.0027    99.9140     0.6950    90.4600    13.2113      0.1112
 386     0.0645     0.0015    99.9620     0.7005    90.4800    13.1338      0.1110
 387     0.0641     0.0019    99.9300     0.7123    90.3100    13.3976      0.1108
 388     0.0637     0.0015    99.9440     0.7306    90.2500    13.3559      0.1106
 389     0.0633     0.0015    99.9540     0.7126    90.4700    13.2913      0.1104
 390     0.0629     0.0018    99.9520     0.7194    90.2300    13.3696      0.1102
 391     0.0625     0.0012    99.9580     0.6844    90.6900    13.4315      0.1100
 392     0.0621     0.0009    99.9680     0.6890    90.5300    13.2986      0.1098
 393     0.0616     0.0010    99.9700     0.6822    90.6900    13.1976      0.1096
 394     0.0612     0.0011    99.9680     0.6849    90.5300    13.3458      0.1094
 395     0.0608     0.0022    99.9240     0.7256    90.1900    13.3480      0.1092
 396     0.0604     0.0023    99.9340     0.7302    90.1100    13.2686      0.1090
 397     0.0600     0.0023    99.9160     0.7219    90.4500    13.0990      0.1088
 398     0.0596     0.0011    99.9620     0.7052    90.5100    13.3238      0.1086
 399     0.0592     0.0010    99.9720     0.6930    90.4700    13.2985      0.1085
 400     0.0588     0.0004    99.9880     0.6935    90.5700    13.2378      0.1083
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 401     0.0583     0.0009    99.9820     0.7146    90.4500    13.1245      0.1081
 402     0.0579     0.0009    99.9700     0.6884    90.5600    13.3389      0.1079
 403     0.0575     0.0018    99.9400     0.7345    90.1800    13.2910      0.1077
 404     0.0571     0.0005    99.9860     0.7061    90.5300    13.2894      0.1075
 405     0.0567     0.0007    99.9860     0.7090    90.3000    13.2529      0.1074
 406     0.0563     0.0010    99.9680     0.7122    90.2700    13.2259      0.1072
 407     0.0559     0.0010    99.9680     0.7293    90.2900    13.1844      0.1070
 408     0.0554     0.0010    99.9620     0.7431    90.1100    13.2674      0.1068
 409     0.0550     0.0007    99.9780     0.7393    90.4700    13.3340      0.1067
 410     0.0546     0.0007    99.9760     0.7396    90.4100    13.3515      0.1065
 411     0.0542     0.0003    99.9940     0.7375    90.4600    13.1592      0.1063
 412     0.0538     0.0004    99.9840     0.7470    90.5300    13.3459      0.1062
 413     0.0534     0.0007    99.9780     0.7557    90.4500    13.2516      0.1060
 414     0.0530     0.0007    99.9800     0.7315    90.3700    13.4045      0.1058
 415     0.0526     0.0008    99.9760     0.7382    90.3700    13.3119      0.1057
 416     0.0522     0.0005    99.9920     0.7306    90.5500    13.2691      0.1055
 417     0.0517     0.0005    99.9880     0.7173    90.5200    13.2684      0.1053
 418     0.0513     0.0007    99.9760     0.7295    90.6000    13.3373      0.1052
 419     0.0509     0.0005    99.9880     0.7258    90.4100    13.2762      0.1050
 420     0.0505     0.0009    99.9660     0.7420    90.4100    13.2336      0.1049
 421     0.0501     0.0006    99.9800     0.7271    90.3900    13.2050      0.1047
 422     0.0497     0.0008    99.9740     0.7079    90.3900    13.2680      0.1046
 423     0.0493     0.0005    99.9820     0.7351    90.4200    13.4945      0.1045
 424     0.0489     0.0004    99.9840     0.7289    90.5100    13.3564      0.1043
 425     0.0484     0.0009    99.9680     0.7296    90.3400    13.2757      0.1042
 426     0.0480     0.0005    99.9880     0.7418    90.4900    13.3856      0.1040
 427     0.0476     0.0010    99.9720     0.7271    90.4300    13.4132      0.1039
 428     0.0472     0.0008    99.9840     0.7536    90.4900    13.2429      0.1038
 429     0.0468     0.0005    99.9840     0.7338    90.2100    13.3255      0.1036
 430     0.0464     0.0004    99.9880     0.7281    90.4900    13.3662      0.1035
 431     0.0460     0.0005    99.9820     0.7347    90.4900    13.2736      0.1034
 432     0.0456     0.0008    99.9760     0.7488    90.1900    13.3349      0.1032
 433     0.0451     0.0010    99.9760     0.7497    90.2800    13.3339      0.1031
 434     0.0447     0.0003    99.9920     0.7093    90.4800    13.2455      0.1030
 435     0.0443     0.0005    99.9800     0.7367    90.6800    13.2559      0.1029
 436     0.0439     0.0002    99.9980     0.7281    90.8000    13.5070      0.1027
 437     0.0435     0.0002   100.0000     0.7268    90.6300    13.3264      0.1026
 438     0.0431     0.0004    99.9900     0.7269    90.6500    13.3248      0.1025
 439     0.0427     0.0003    99.9900     0.7397    90.5800    13.3531      0.1024
 440     0.0423     0.0003    99.9940     0.7362    90.5200    13.2693      0.1022
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 441     0.0418     0.0003    99.9920     0.7439    90.6800    13.3447      0.1021
 442     0.0414     0.0006    99.9760     0.7239    90.6700    13.3016      0.1020
 443     0.0410     0.0004    99.9860     0.7378    90.5800    13.3927      0.1019
 444     0.0406     0.0005    99.9820     0.7464    90.6100    13.4242      0.1018
 445     0.0402     0.0002    99.9960     0.7471    90.5600    13.3990      0.1016
 446     0.0398     0.0004    99.9860     0.7329    90.6900    13.3589      0.1015
 447     0.0394     0.0002    99.9960     0.7379    90.6300    13.1991      0.1014
 448     0.0389     0.0003    99.9860     0.7379    90.8100    13.3002      0.1013
 449     0.0385     0.0005    99.9880     0.7537    90.6200    13.1941      0.1012
 450     0.0381     0.0002    99.9940     0.7370    90.6100    13.3008      0.1011
 451     0.0377     0.0003    99.9900     0.7314    90.6800    13.1675      0.1010
 452     0.0373     0.0005    99.9860     0.7427    90.6500    13.1097      0.1009
 453     0.0369     0.0004    99.9880     0.7437    90.7000    13.3182      0.1008
 454     0.0365     0.0002    99.9940     0.7419    90.7800    13.5379      0.1007
 455     0.0361     0.0002    99.9940     0.7442    90.6800    13.2416      0.1006
 456     0.0357     0.0003    99.9860     0.7420    90.7700    13.2331      0.1005
 457     0.0352     0.0003    99.9960     0.7549    90.6400    13.3738      0.1004
 458     0.0348     0.0001    99.9980     0.7408    90.9100    13.3278      0.1003
 459     0.0344     0.0004    99.9940     0.7408    90.7400    13.2862      0.1002
 460     0.0340     0.0003    99.9940     0.7349    90.8000    13.2860      0.1001
 461     0.0336     0.0002    99.9980     0.7351    90.6200    13.3187      0.1000
 462     0.0332     0.0001    99.9960     0.7314    90.7600    13.3399      0.0999
 463     0.0328     0.0002    99.9920     0.7262    90.7900    13.3798      0.0998
 464     0.0324     0.0003    99.9880     0.7296    90.7200    13.1640      0.0998
 465     0.0319     0.0005    99.9780     0.7487    90.7700    13.3841      0.0997
 466     0.0315     0.0003    99.9880     0.7366    90.7900    13.3198      0.0996
 467     0.0311     0.0002    99.9940     0.7372    90.9400    13.3245      0.0995
 468     0.0307     0.0002    99.9920     0.7382    91.0100    13.2492      0.0994
 469     0.0303     0.0001    99.9980     0.7343    90.9000    13.3452      0.0994
 470     0.0299     0.0002    99.9960     0.7301    90.8900    13.2944      0.0993
 471     0.0295     0.0003    99.9940     0.7307    90.9300    13.3366      0.0992
 472     0.0291     0.0001   100.0000     0.7300    90.9000    13.2715      0.0991
 473     0.0286     0.0002    99.9980     0.7400    91.0400    13.3248      0.0990
 474     0.0282     0.0003    99.9920     0.7426    90.9900    13.2675      0.0990
 475     0.0278     0.0001    99.9980     0.7332    91.0700    13.3228      0.0989
 476     0.0274     0.0002    99.9940     0.7372    90.9600    13.1722      0.0988
 477     0.0270     0.0001    99.9980     0.7279    91.0000    13.2590      0.0987
 478     0.0266     0.0001    99.9960     0.7379    91.0000    13.3190      0.0987
 479     0.0262     0.0002    99.9960     0.7423    90.9800    13.2330      0.0986
 480     0.0257     0.0001    99.9980     0.7469    90.9700    13.2790      0.0985
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 481     0.0253     0.0001    99.9980     0.7398    91.0400    13.4086      0.0985
 482     0.0249     0.0001   100.0000     0.7407    91.0300    13.2274      0.0984
 483     0.0245     0.0001    99.9960     0.7342    90.8700    13.2037      0.0983
 484     0.0241     0.0001    99.9980     0.7341    90.9800    13.2381      0.0983
 485     0.0237     0.0001    99.9980     0.7348    90.9800    13.2090      0.0982
 486     0.0233     0.0002    99.9960     0.7322    90.9800    13.3853      0.0982
 487     0.0229     0.0002    99.9940     0.7447    90.9600    13.3499      0.0981
 488     0.0225     0.0002    99.9900     0.7373    91.0800    13.2499      0.0980
 489     0.0220     0.0001    99.9980     0.7445    90.9700    13.3743      0.0980
 490     0.0216     0.0001   100.0000     0.7361    91.0200    13.2902      0.0979
 491     0.0212     0.0001   100.0000     0.7428    91.0400    13.1767      0.0979
 492     0.0208     0.0002    99.9960     0.7352    91.0100    13.1975      0.0978
 493     0.0204     0.0001    99.9960     0.7353    90.9000    13.1953      0.0978
 494     0.0200     0.0001    99.9980     0.7408    91.0000    13.3219      0.0977
 495     0.0196     0.0002    99.9960     0.7382    91.0300    13.4885      0.0977
 496     0.0192     0.0002    99.9980     0.7408    90.9500    13.2900      0.0976
 497     0.0187     0.0001    99.9980     0.7417    90.9400    13.2314      0.0976
 498     0.0183     0.0001    99.9980     0.7426    91.0700    13.2730      0.0975
 499     0.0179     0.0000   100.0000     0.7388    91.0700    13.2481      0.0975
 500     0.0175     0.0001    99.9980     0.7450    91.0600    13.2971      0.0975
 501     0.0171     0.0001   100.0000     0.7422    91.0200    13.3436      0.0974
 502     0.0167     0.0001    99.9980     0.7480    90.9000    13.2276      0.0974
 503     0.0163     0.0001   100.0000     0.7434    90.9100    13.3801      0.0973
 504     0.0159     0.0001   100.0000     0.7442    90.9300    13.2358      0.0973
 505     0.0154     0.0001    99.9980     0.7471    91.0000    13.2259      0.0973
 506     0.0150     0.0001   100.0000     0.7477    91.0200    13.3382      0.0972
 507     0.0146     0.0001    99.9980     0.7512    90.9700    13.2691      0.0972
 508     0.0142     0.0001    99.9960     0.7487    91.0800    13.3060      0.0972
 509     0.0138     0.0001    99.9960     0.7467    90.9800    13.1844      0.0971
 510     0.0134     0.0000   100.0000     0.7494    90.9100    13.3431      0.0971
 511     0.0130     0.0001   100.0000     0.7466    90.9100    13.3484      0.0971
 512     0.0125     0.0001    99.9980     0.7470    91.0200    13.4042      0.0970
 513     0.0121     0.0000   100.0000     0.7453    91.0300    13.4550      0.0970
 514     0.0117     0.0001   100.0000     0.7424    91.1100    13.1986      0.0970
 515     0.0113     0.0000   100.0000     0.7443    91.0400    13.2967      0.0970
 516     0.0109     0.0001    99.9980     0.7473    91.0600    13.4114      0.0969
 517     0.0105     0.0000   100.0000     0.7470    91.0400    13.2406      0.0969
 518     0.0101     0.0001    99.9980     0.7464    91.0000    13.2042      0.0969
 519     0.0097     0.0001    99.9980     0.7480    91.0800    13.1676      0.0969
 520     0.0092     0.0000   100.0000     0.7489    91.0800    13.3246      0.0968
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 521     0.0088     0.0001    99.9980     0.7477    91.0500    13.4148      0.0968
 522     0.0084     0.0001    99.9980     0.7501    91.0300    13.3897      0.0968
 523     0.0080     0.0001   100.0000     0.7497    90.9800    13.3736      0.0968
 524     0.0076     0.0000   100.0000     0.7471    91.0000    13.2887      0.0968
 525     0.0072     0.0001    99.9980     0.7484    90.9800    13.4045      0.0968
 526     0.0068     0.0000   100.0000     0.7486    90.9500    13.4173      0.0967
 527     0.0064     0.0000   100.0000     0.7461    90.9800    13.3059      0.0967
 528     0.0060     0.0000   100.0000     0.7448    90.9900    13.3819      0.0967
 529     0.0055     0.0001    99.9960     0.7448    90.9900    13.2229      0.0967
 530     0.0051     0.0001   100.0000     0.7444    90.9800    13.1652      0.0967
 531     0.0047     0.0001    99.9980     0.7436    90.9800    13.2349      0.0967
 532     0.0043     0.0001   100.0000     0.7428    91.0100    13.3449      0.0967
 533     0.0039     0.0000   100.0000     0.7431    91.0200    13.3928      0.0967
 534     0.0035     0.0001    99.9980     0.7435    91.0300    13.3595      0.0967
 535     0.0031     0.0001    99.9980     0.7441    91.0100    13.2183      0.0967
 536     0.0027     0.0001    99.9960     0.7447    90.9700    13.3644      0.0967
 537     0.0022     0.0001   100.0000     0.7450    90.9700    13.2514      0.0967
 538     0.0018     0.0001    99.9980     0.7446    90.9800    13.2951      0.0966
 539     0.0014     0.0000   100.0000     0.7445    90.9800    13.1929      0.0966
 540     0.0010     0.0001    99.9980     0.7443    91.0000    13.3210      0.0966
 541     0.0010     0.0001    99.9980     0.7443    91.0000    13.2644      0.0966
 542     0.0010     0.0000   100.0000     0.7447    90.9900    13.2090      0.0966
 543     0.0010     0.0003    99.9940     0.7451    90.9700    13.4221      0.0966
 544     0.0010     0.0000   100.0000     0.7452    90.9700    13.2709      0.0966
 545     0.0010     0.0000   100.0000     0.7447    90.9700    13.1389      0.0966
 546     0.0010     0.0000   100.0000     0.7449    90.9700    13.4210      0.0966
 547     0.0010     0.0000   100.0000     0.7454    90.9600    13.2605      0.0966
 548     0.0010     0.0000   100.0000     0.7453    90.9800    13.2247      0.0966
 549     0.0010     0.0000    99.9980     0.7456    90.9800    13.2576      0.0966
 550     0.0010     0.0000   100.0000     0.7453    90.9900    13.3801      0.0966
 551     0.0010     0.0000   100.0000     0.7457    90.9900    13.3465      0.0966
 552     0.0010     0.0001   100.0000     0.7459    90.9800    13.3719      0.0966
 553     0.0010     0.0000   100.0000     0.7460    90.9900    13.3101      0.0966
 554     0.0010     0.0000   100.0000     0.7456    91.0100    13.2654      0.0966
 555     0.0010     0.0000   100.0000     0.7458    91.0000    13.2307      0.0966
 556     0.0010     0.0000   100.0000     0.7460    90.9900    13.3394      0.0966
 557     0.0010     0.0001    99.9980     0.7458    90.9900    13.2574      0.0966
 558     0.0010     0.0000   100.0000     0.7462    91.0000    13.3350      0.0966
 559     0.0010     0.0001    99.9980     0.7463    91.0100    13.4013      0.0966
 560     0.0010     0.0000   100.0000     0.7464    91.0000    13.2903      0.0966
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
  ep         lr    tr_loss     tr_acc     te_nll     te_acc       time    sparsity
----  ---------  ---------  ---------  ---------  ---------  ---------  ----------
 561     0.0010     0.0000   100.0000     0.7464    91.0000    13.3762      0.0966
 562     0.0010     0.0001   100.0000     0.7456    91.0000    13.2416      0.0966
 563     0.0010     0.0000   100.0000     0.7455    91.0100    13.2406      0.0966
 564     0.0010     0.0000   100.0000     0.7452    91.0100    13.4655      0.0966
 565     0.0010     0.0000   100.0000     0.7454    91.0000    13.3893      0.0966
 566     0.0010     0.0001    99.9960     0.7455    91.0000    13.3428      0.0966
 567     0.0010     0.0000   100.0000     0.7455    90.9900    13.3369      0.0966
 568     0.0010     0.0000   100.0000     0.7456    91.0000    13.3380      0.0966
 569     0.0010     0.0002    99.9940     0.7459    91.0100    13.3442      0.0966
 570     0.0010     0.0000   100.0000     0.7460    91.0000    13.3352      0.0966
 571     0.0010     0.0000   100.0000     0.7463    91.0200    13.3103      0.0966
 572     0.0010     0.0001    99.9980     0.7463    91.0200    13.3606      0.0966
 573     0.0010     0.0000   100.0000     0.7464    91.0100    13.3735      0.0966
 574     0.0010     0.0000   100.0000     0.7467    91.0100    13.1774      0.0966
 575     0.0010     0.0001    99.9980     0.7466    91.0000    13.1919      0.0966
 576     0.0010     0.0000   100.0000     0.7471    91.0000    13.2836      0.0966
 577     0.0010     0.0000   100.0000     0.7470    91.0100    13.4866      0.0966
 578     0.0010     0.0000   100.0000     0.7471    91.0100    13.2002      0.0966
 579     0.0010     0.0000   100.0000     0.7474    91.0100    13.4220      0.0966
 580     0.0010     0.0000   100.0000     0.7478    91.0200    13.3024      0.0966
 581     0.0010     0.0001   100.0000     0.7473    91.0000    13.2965      0.0966
 582     0.0010     0.0001    99.9980     0.7473    90.9900    13.3094      0.0966
 583     0.0010     0.0000   100.0000     0.7475    91.0100    13.3363      0.0966
 584     0.0010     0.0001   100.0000     0.7478    91.0000    13.2454      0.0966
 585     0.0010     0.0001   100.0000     0.7479    91.0100    13.3600      0.0966
 586     0.0010     0.0000   100.0000     0.7480    91.0300    13.3505      0.0966
 587     0.0010     0.0000   100.0000     0.7482    91.0100    13.1918      0.0966
 588     0.0010     0.0000   100.0000     0.7482    91.0100    13.1400      0.0966
 589     0.0010     0.0000    99.9980     0.7484    91.0100    13.1519      0.0966
 590     0.0010     0.0001    99.9980     0.7485    91.0000    13.2370      0.0966
 591     0.0010     0.0000    99.9980     0.7484    91.0100    13.2125      0.0967
 592     0.0010     0.0000   100.0000     0.7488    91.0000    13.2158      0.0967
 593     0.0010     0.0001    99.9960     0.7487    91.0100    13.1669      0.0967
 594     0.0010     0.0000   100.0000     0.7481    91.0200    13.4317      0.0967
 595     0.0010     0.0000   100.0000     0.7482    91.0100    13.2751      0.0967
 596     0.0010     0.0000   100.0000     0.7481    91.0100    13.2391      0.0967
 597     0.0010     0.0001    99.9980     0.7483    91.0300    13.1928      0.0967
 598     0.0010     0.0000   100.0000     0.7485    91.0300    13.2093      0.0967
 599     0.0010     0.0002    99.9980     0.7486    91.0400    13.2099      0.0967
 600     0.0010     0.0001    99.9980     0.7486    91.0400    13.2362      0.0967
