ResNet+自适应参数化ReLU（调参记录25）Cifar10~95.77%

在之前调参记录的基础上，首先，大幅度削减了自适应参数化ReLU中全连接神经元的个数，想着可以减轻训练的难度，也可以减少过拟合；然后，将Epoch增加到1000个，继续测试ResNet+自适应参数化ReLU激活函数在Cifar10上的效果。

自适应参数化ReLU激活函数的基本原理如下：

Keras程序：

#!/usr/bin/env python3# -*- coding: utf-8 -*-"""Created on Tue Apr 14 04:17:45 2020Implemented using Tensorflow 1.0.1 and Keras 2.2.1Minghang Zhao, Shisheng Zhong, Xuyun Fu, Baoping Tang, Shaojiang Dong, Michael Pecht,Deep Residual Networks with Adaptively Parametric Rectifier Linear Units for Fault Diagnosis, IEEE Transactions on Industrial Electronics, DOI: 10.1109/TIE.2020.2972458,Date of Publication: 13 February 2020@author: Minghang Zhao"""from __future__ import print_functionimport kerasimport numpy as npfrom keras.datasets import cifar10from keras.layers import Dense, Conv2D, BatchNORMalization, Activation, Minimum, Lambdafrom keras.layers import AveragePooling2D, Input, GlobalAveragePooling2D, Concatenate, Reshapefrom keras.regularizers import l2from keras import backend as Kfrom keras.models import Modelfrom keras import optimizersfrom keras.preprocessing.image import ImageDataGeneratorfrom keras.callbacks import LearningRateSchedulerK.set_learning_phase(1)def cal_mean(inputs):    outputs = K.mean(inputs, axis=1, keepdims=True)    return outputs# The data, split between train and test sets(x_train, y_train), (x_test, y_test) = cifar10.load_data()x_train = x_train.astype('float32') / 255.x_test = x_test.astype('float32') / 255.x_test = x_test-np.mean(x_train)x_train = x_train-np.mean(x_train)print('x_train shape:', x_train.shape)print(x_train.shape[0], 'train samples')print(x_test.shape[0], 'test samples')# convert class vectors to binary class matricesy_train = keras.utils.to_cateGorical(y_train, 10)y_test = keras.utils.to_categorical(y_test, 10)# Schedule the learning rate, multiply 0.1 every 300 epochesdef scheduler(epoch):    if epoch % 300 == 0 and epoch != 0:        lr = K.get_value(model.optimizer.lr)        K.set_value(model.optimizer.lr, lr * 0.1)        print("lr changed to {}".format(lr * 0.1))    return K.get_value(model.optimizer.lr)# An adaptively parametric rectifier linear unit (APReLU)def aprelu(inputs):    # get the number of channels    channels = inputs.get_shape().as_list()[-1]    # get a zero feature map    zeros_input = keras.layers.subtract([inputs, inputs])    # get a feature map with only positive features    pos_input = Activation('relu')(inputs)    # get a feature map with only negative features    neg_input = Minimum()([inputs,zeros_input])    # define a network to obtain the scaling coefficients    scales_p = Lambda(cal_mean)(GlobalAveragePooling2D()(pos_input))    scales_n = Lambda(cal_mean)(GlobalAveragePooling2D()(neg_input))    scales = Concatenate()([scales_n, scales_p])    scales = Dense(2, activation='linear', kernel_initializer='he_normal', kernel_regularizer=l2(1e-4))(scales)    scales = BatchNormalization(momentum=0.9, gamma_regularizer=l2(1e-4))(scales)    scales = Activation('relu')(scales)    scales = Dense(1, activation='linear', kernel_initializer='he_normal', kernel_regularizer=l2(1e-4))(scales)    scales = BatchNormalization(momentum=0.9, gamma_regularizer=l2(1e-4))(scales)    scales = Activation('sigmoid')(scales)    scales = Reshape((1,1,1))(scales)    # apply a paramtetric relu    neg_part = keras.layers.multiply([scales, neg_input])    return keras.layers.add([pos_input, neg_part])# Residual Blockdef residual_block(incoming, nb_blocks, out_channels, downsample=False,                   downsample_strides=2):        residual = incoming    in_channels = incoming.get_shape().as_list()[-1]        for i in range(nb_blocks):                identity = residual                if not downsample:            downsample_strides = 1                residual = BatchNormalization(momentum=0.9, gamma_regularizer=l2(1e-4))(residual)        residual = aprelu(residual)        residual = Conv2D(out_channels, 3, strides=(downsample_strides, downsample_strides),                           padding='same', kernel_initializer='he_normal',                           kernel_regularizer=l2(1e-4))(residual)                residual = BatchNormalization(momentum=0.9, gamma_regularizer=l2(1e-4))(residual)        residual = aprelu(residual)        residual = Conv2D(out_channels, 3, padding='same', kernel_initializer='he_normal',                           kernel_regularizer=l2(1e-4))(residual)                # Downsampling        if downsample_strides > 1:            identity = AveragePooling2D(pool_size=(1,1), strides=(2,2))(identity)                    # Zero_padding to match channels        if in_channels != out_channels:            zeros_identity = keras.layers.subtract([identity, identity])            identity = keras.layers.concatenate([identity, zeros_identity])            in_channels = out_channels                residual = keras.layers.add([residual, identity])        return residual# define and train a modelinputs = Input(shape=(32, 32, 3))net = Conv2D(64, 3, padding='same', kernel_initializer='he_normal', kernel_regularizer=l2(1e-4))(inputs)net = residual_block(net, 20,  64, downsample=False)net = residual_block(net, 1,  128, downsample=True)net = residual_block(net, 19, 128, downsample=False)net = residual_block(net, 1,  256, downsample=True)net = residual_block(net, 19, 256, downsample=False)net = BatchNormalization(momentum=0.9, gamma_regularizer=l2(1e-4))(net)net = aprelu(net)net = GlobalAveragePooling2D()(net)outputs = Dense(10, activation='softmax', kernel_initializer='he_normal', kernel_regularizer=l2(1e-4))(net)model = Model(inputs=inputs, outputs=outputs)sgd = optimizers.SGD(lr=0.1, decay=0., momentum=0.9, nesterov=True)model.compile(loss='categorical_crossentropy', optimizer=sgd, metrics=['accuracy'])# data augmentationdatagen = ImageDataGenerator(    # randomly rotate images in the range (deg 0 to 180)    rotation_range=30,    # Range for random zoom    zoom_range = 0.2,    # shear angle in counter-clockwise direction in degrees    shear_range = 30,    # randomly flip images    horizontal_flip=True,    # randomly shift images horizontally    width_shift_range=0.125,    # randomly shift images vertically    height_shift_range=0.125)reduce_lr = LearningRateScheduler(scheduler)# fit the model on the batches generated by datagen.flow().model.fit_generator(datagen.flow(x_train, y_train, batch_size=100),                    validation_data=(x_test, y_test), epochs=1000,                     verbose=1, callbacks=[reduce_lr], workers=4)# get resultsK.set_learning_phase(0)DRSN_train_score = model.evaluate(x_train, y_train, batch_size=100, verbose=0)print('Train loss:', DRSN_train_score[0])print('Train accuracy:', DRSN_train_score[1])DRSN_test_score = model.evaluate(x_test, y_test, batch_size=100, verbose=0)print('Test loss:', DRSN_test_score[0])print('Test accuracy:', DRSN_test_score[1])

实验结果：

Using TensorFlow backend.x_train shape: (50000, 32, 32, 3)50000 train samples10000 test samplesEpoch 1/1000413s 826ms/step - loss: 6.7483 - acc: 0.3694 - val_loss: 5.9301 - val_acc: 0.4997Epoch 2/1000330s 659ms/step - loss: 5.5312 - acc: 0.4941 - val_loss: 4.9301 - val_acc: 0.5792Epoch 3/1000330s 659ms/step - loss: 4.6439 - acc: 0.5593 - val_loss: 4.0912 - val_acc: 0.6487Epoch 4/1000329s 659ms/step - loss: 3.9263 - acc: 0.6101 - val_loss: 3.4891 - val_acc: 0.6778Epoch 5/1000329s 659ms/step - loss: 3.3595 - acc: 0.6415 - val_loss: 2.9574 - val_acc: 0.7220Epoch 6/1000334s 668ms/step - loss: 2.8985 - acc: 0.6704 - val_loss: 2.5622 - val_acc: 0.7322Epoch 7/1000330s 660ms/step - loss: 2.5229 - acc: 0.6917 - val_loss: 2.2063 - val_acc: 0.7612Epoch 8/1000329s 659ms/step - loss: 2.2063 - acc: 0.7167 - val_loss: 1.9074 - val_acc: 0.7861Epoch 9/1000329s 659ms/step - loss: 1.9480 - acc: 0.7339 - val_loss: 1.6790 - val_acc: 0.8023Epoch 10/1000330s 659ms/step - loss: 1.7331 - acc: 0.7527 - val_loss: 1.5017 - val_acc: 0.8113Epoch 11/1000330s 659ms/step - loss: 1.5656 - acc: 0.7652 - val_loss: 1.3648 - val_acc: 0.8174Epoch 12/1000330s 659ms/step - loss: 1.4253 - acc: 0.7756 - val_loss: 1.2259 - val_acc: 0.8327Epoch 13/1000329s 659ms/step - loss: 1.3032 - acc: 0.7877 - val_loss: 1.1070 - val_acc: 0.8442Epoch 14/1000330s 659ms/step - loss: 1.2136 - acc: 0.7941 - val_loss: 1.0533 - val_acc: 0.8408Epoch 15/1000329s 659ms/step - loss: 1.1363 - acc: 0.8009 - val_loss: 0.9825 - val_acc: 0.8517Epoch 16/1000331s 661ms/step - loss: 1.0679 - acc: 0.8111 - val_loss: 0.9233 - val_acc: 0.8563Epoch 17/1000330s 660ms/step - loss: 1.0143 - acc: 0.8168 - val_loss: 0.8913 - val_acc: 0.8569Epoch 18/1000330s 660ms/step - loss: 0.9731 - acc: 0.8215 - val_loss: 0.8578 - val_acc: 0.8561Epoch 19/1000330s 660ms/step - loss: 0.9397 - acc: 0.8261 - val_loss: 0.8226 - val_acc: 0.8675Epoch 20/1000330s 659ms/step - loss: 0.9073 - acc: 0.8301 - val_loss: 0.7973 - val_acc: 0.8697Epoch 21/1000329s 659ms/step - loss: 0.8823 - acc: 0.8342 - val_loss: 0.7837 - val_acc: 0.8693Epoch 22/1000331s 662ms/step - loss: 0.8688 - acc: 0.8369 - val_loss: 0.7693 - val_acc: 0.8736Epoch 23/1000332s 665ms/step - loss: 0.8479 - acc: 0.8425 - val_loss: 0.7626 - val_acc: 0.8730Epoch 24/1000329s 659ms/step - loss: 0.8329 - acc: 0.8453 - val_loss: 0.7745 - val_acc: 0.8671Epoch 25/1000330s 660ms/step - loss: 0.8271 - acc: 0.8462 - val_loss: 0.7271 - val_acc: 0.8833Epoch 26/1000331s 661ms/step - loss: 0.8121 - acc: 0.8516 - val_loss: 0.7155 - val_acc: 0.8883Epoch 27/1000330s 659ms/step - loss: 0.8008 - acc: 0.8543 - val_loss: 0.7522 - val_acc: 0.8707Epoch 28/1000330s 659ms/step - loss: 0.7959 - acc: 0.8558 - val_loss: 0.7200 - val_acc: 0.8799Epoch 29/1000329s 659ms/step - loss: 0.7937 - acc: 0.8563 - val_loss: 0.7196 - val_acc: 0.8855Epoch 30/1000329s 659ms/step - loss: 0.7843 - acc: 0.8602 - val_loss: 0.7285 - val_acc: 0.8808Epoch 31/1000330s 659ms/step - loss: 0.7791 - acc: 0.8606 - val_loss: 0.7120 - val_acc: 0.8879Epoch 32/1000329s 658ms/step - loss: 0.7781 - acc: 0.8612 - val_loss: 0.7139 - val_acc: 0.8840Epoch 33/1000329s 659ms/step - loss: 0.7650 - acc: 0.8660 - val_loss: 0.7243 - val_acc: 0.8814Epoch 34/1000329s 658ms/step - loss: 0.7686 - acc: 0.8669 - val_loss: 0.7223 - val_acc: 0.8811Epoch 35/1000329s 659ms/step - loss: 0.7694 - acc: 0.8662 - val_loss: 0.6995 - val_acc: 0.8938Epoch 36/1000329s 659ms/step - loss: 0.7618 - acc: 0.8679 - val_loss: 0.7032 - val_acc: 0.8919Epoch 37/1000329s 658ms/step - loss: 0.7542 - acc: 0.8709 - val_loss: 0.7115 - val_acc: 0.8868Epoch 38/1000329s 659ms/step - loss: 0.7525 - acc: 0.8719 - val_loss: 0.7282 - val_acc: 0.8791Epoch 39/1000329s 658ms/step - loss: 0.7528 - acc: 0.8727 - val_loss: 0.7046 - val_acc: 0.8898Epoch 40/1000329s 658ms/step - loss: 0.7476 - acc: 0.8748 - val_loss: 0.7071 - val_acc: 0.8927Epoch 41/1000329s 659ms/step - loss: 0.7429 - acc: 0.8762 - val_loss: 0.7195 - val_acc: 0.8852Epoch 42/1000329s 658ms/step - loss: 0.7487 - acc: 0.8758 - val_loss: 0.7064 - val_acc: 0.8936Epoch 43/1000329s 658ms/step - loss: 0.7423 - acc: 0.8769 - val_loss: 0.6941 - val_acc: 0.8959Epoch 44/1000330s 660ms/step - loss: 0.7357 - acc: 0.8802 - val_loss: 0.7097 - val_acc: 0.8921Epoch 45/1000329s 659ms/step - loss: 0.7385 - acc: 0.8796 - val_loss: 0.6845 - val_acc: 0.8997Epoch 46/1000332s 664ms/step - loss: 0.7331 - acc: 0.8821 - val_loss: 0.7265 - val_acc: 0.8870Epoch 47/1000329s 658ms/step - loss: 0.7358 - acc: 0.8804 - val_loss: 0.7062 - val_acc: 0.8947Epoch 48/1000329s 658ms/step - loss: 0.7357 - acc: 0.8812 - val_loss: 0.7007 - val_acc: 0.8932Epoch 49/1000329s 658ms/step - loss: 0.7338 - acc: 0.8832 - val_loss: 0.6983 - val_acc: 0.8989Epoch 50/1000330s 659ms/step - loss: 0.7268 - acc: 0.8852 - val_loss: 0.7136 - val_acc: 0.8940Epoch 51/1000329s 659ms/step - loss: 0.7327 - acc: 0.8845 - val_loss: 0.7076 - val_acc: 0.8957Epoch 52/1000329s 658ms/step - loss: 0.7255 - acc: 0.8858 - val_loss: 0.6909 - val_acc: 0.8995Epoch 53/1000329s 658ms/step - loss: 0.7298 - acc: 0.8860 - val_loss: 0.7088 - val_acc: 0.8956Epoch 54/1000331s 661ms/step - loss: 0.7237 - acc: 0.8884 - val_loss: 0.7069 - val_acc: 0.8960Epoch 55/1000329s 659ms/step - loss: 0.7288 - acc: 0.8863 - val_loss: 0.6929 - val_acc: 0.8984Epoch 56/1000329s 658ms/step - loss: 0.7208 - acc: 0.8890 - val_loss: 0.6925 - val_acc: 0.9017Epoch 57/1000330s 659ms/step - loss: 0.7187 - acc: 0.8898 - val_loss: 0.7150 - val_acc: 0.8944Epoch 58/1000330s 659ms/step - loss: 0.7148 - acc: 0.8920 - val_loss: 0.6766 - val_acc: 0.9060Epoch 59/1000329s 659ms/step - loss: 0.7185 - acc: 0.8905 - val_loss: 0.7031 - val_acc: 0.8951Epoch 60/1000329s 658ms/step - loss: 0.7192 - acc: 0.8904 - val_loss: 0.6956 - val_acc: 0.9020Epoch 61/1000329s 659ms/step - loss: 0.7209 - acc: 0.8895 - val_loss: 0.6967 - val_acc: 0.8997Epoch 62/1000329s 658ms/step - loss: 0.7083 - acc: 0.8936 - val_loss: 0.6806 - val_acc: 0.9048Epoch 63/1000329s 658ms/step - loss: 0.7123 - acc: 0.8926 - val_loss: 0.6832 - val_acc: 0.9042Epoch 64/1000329s 658ms/step - loss: 0.7085 - acc: 0.8939 - val_loss: 0.7000 - val_acc: 0.8973Epoch 65/1000330s 660ms/step - loss: 0.7049 - acc: 0.8963 - val_loss: 0.6993 - val_acc: 0.8969Epoch 66/1000330s 660ms/step - loss: 0.7062 - acc: 0.8950 - val_loss: 0.6977 - val_acc: 0.9044Epoch 67/1000329s 659ms/step - loss: 0.7127 - acc: 0.8938 - val_loss: 0.7069 - val_acc: 0.8977Epoch 68/1000329s 657ms/step - loss: 0.7010 - acc: 0.8960 - val_loss: 0.7052 - val_acc: 0.8994Epoch 69/1000329s 658ms/step - loss: 0.7096 - acc: 0.8934 - val_loss: 0.6982 - val_acc: 0.9027Epoch 70/1000329s 658ms/step - loss: 0.7118 - acc: 0.8947 - val_loss: 0.6850 - val_acc: 0.9053Epoch 71/1000329s 658ms/step - loss: 0.7076 - acc: 0.8953 - val_loss: 0.6798 - val_acc: 0.9053Epoch 72/1000329s 658ms/step - loss: 0.6998 - acc: 0.8981 - val_loss: 0.7312 - val_acc: 0.8905Epoch 73/1000329s 658ms/step - loss: 0.7049 - acc: 0.8969 - val_loss: 0.7042 - val_acc: 0.8996Epoch 74/1000329s 658ms/step - loss: 0.7094 - acc: 0.8959 - val_loss: 0.6987 - val_acc: 0.9020Epoch 75/1000329s 658ms/step - loss: 0.7045 - acc: 0.8963 - val_loss: 0.6909 - val_acc: 0.9056Epoch 76/1000329s 658ms/step - loss: 0.7028 - acc: 0.8980 - val_loss: 0.7257 - val_acc: 0.8918Epoch 77/1000329s 657ms/step - loss: 0.7059 - acc: 0.8956 - val_loss: 0.6813 - val_acc: 0.9097Epoch 78/1000329s 658ms/step - loss: 0.6996 - acc: 0.9006 - val_loss: 0.6942 - val_acc: 0.9081Epoch 79/1000329s 658ms/step - loss: 0.6988 - acc: 0.8996 - val_loss: 0.6801 - val_acc: 0.9059Epoch 80/1000329s 657ms/step - loss: 0.6983 - acc: 0.8990 - val_loss: 0.6759 - val_acc: 0.9081Epoch 81/1000329s 658ms/step - loss: 0.6968 - acc: 0.9012 - val_loss: 0.6868 - val_acc: 0.9052Epoch 82/1000329s 658ms/step - loss: 0.6976 - acc: 0.9000 - val_loss: 0.6945 - val_acc: 0.9028Epoch 83/1000329s 658ms/step - loss: 0.6974 - acc: 0.8999 - val_loss: 0.7020 - val_acc: 0.9010Epoch 84/1000329s 658ms/step - loss: 0.6984 - acc: 0.9003 - val_loss: 0.7220 - val_acc: 0.8956Epoch 85/1000329s 658ms/step - loss: 0.7054 - acc: 0.8974 - val_loss: 0.6846 - val_acc: 0.9082Epoch 86/1000329s 657ms/step - loss: 0.6974 - acc: 0.9005 - val_loss: 0.6880 - val_acc: 0.9085Epoch 87/1000329s 658ms/step - loss: 0.6989 - acc: 0.8998 - val_loss: 0.6956 - val_acc: 0.9035Epoch 88/1000329s 658ms/step - loss: 0.7002 - acc: 0.8998 - val_loss: 0.6852 - val_acc: 0.9056Epoch 89/1000329s 657ms/step - loss: 0.7005 - acc: 0.9004 - val_loss: 0.6891 - val_acc: 0.9077Epoch 90/1000329s 658ms/step - loss: 0.6945 - acc: 0.9030 - val_loss: 0.6880 - val_acc: 0.9071Epoch 91/1000329s 658ms/step - loss: 0.6999 - acc: 0.9011 - val_loss: 0.6868 - val_acc: 0.9064Epoch 92/1000329s 658ms/step - loss: 0.6976 - acc: 0.9028 - val_loss: 0.6964 - val_acc: 0.9022Epoch 93/1000329s 658ms/step - loss: 0.6923 - acc: 0.9045 - val_loss: 0.6712 - val_acc: 0.9126Epoch 94/1000329s 657ms/step - loss: 0.6981 - acc: 0.9020 - val_loss: 0.6813 - val_acc: 0.9084Epoch 95/1000329s 657ms/step - loss: 0.6952 - acc: 0.9029 - val_loss: 0.6713 - val_acc: 0.9135Epoch 96/1000329s 657ms/step - loss: 0.6958 - acc: 0.9032 - val_loss: 0.6835 - val_acc: 0.9084Epoch 97/1000329s 657ms/step - loss: 0.6889 - acc: 0.9045 - val_loss: 0.6818 - val_acc: 0.9053Epoch 98/1000329s 657ms/step - loss: 0.6997 - acc: 0.9009 - val_loss: 0.6886 - val_acc: 0.9075Epoch 99/1000329s 657ms/step - loss: 0.6948 - acc: 0.9029 - val_loss: 0.6872 - val_acc: 0.9057Epoch 100/1000329s 657ms/step - loss: 0.6925 - acc: 0.9044 - val_loss: 0.6992 - val_acc: 0.9051Epoch 101/1000329s 657ms/step - loss: 0.6948 - acc: 0.9033 - val_loss: 0.7153 - val_acc: 0.8990Epoch 102/1000328s 657ms/step - loss: 0.6998 - acc: 0.9025 - val_loss: 0.6735 - val_acc: 0.9155Epoch 103/1000329s 657ms/step - loss: 0.6931 - acc: 0.9037 - val_loss: 0.6907 - val_acc: 0.9052Epoch 104/1000329s 657ms/step - loss: 0.6941 - acc: 0.9048 - val_loss: 0.7109 - val_acc: 0.9046Epoch 105/1000329s 658ms/step - loss: 0.6902 - acc: 0.9066 - val_loss: 0.6744 - val_acc: 0.9114Epoch 106/1000329s 657ms/step - loss: 0.6944 - acc: 0.9038 - val_loss: 0.6758 - val_acc: 0.9119Epoch 107/1000329s 658ms/step - loss: 0.6895 - acc: 0.9036 - val_loss: 0.7041 - val_acc: 0.9024Epoch 108/1000329s 657ms/step - loss: 0.6976 - acc: 0.9026 - val_loss: 0.6959 - val_acc: 0.9065Epoch 109/1000329s 657ms/step - loss: 0.6890 - acc: 0.9063 - val_loss: 0.6866 - val_acc: 0.9125Epoch 110/1000329s 657ms/step - loss: 0.6897 - acc: 0.9062 - val_loss: 0.6786 - val_acc: 0.9150Epoch 111/1000329s 657ms/step - loss: 0.6941 - acc: 0.9061 - val_loss: 0.6870 - val_acc: 0.9100Epoch 112/1000329s 657ms/step - loss: 0.6916 - acc: 0.9052 - val_loss: 0.6836 - val_acc: 0.9069Epoch 113/1000329s 657ms/step - loss: 0.6908 - acc: 0.9040 - val_loss: 0.6841 - val_acc: 0.9108Epoch 114/1000329s 657ms/step - loss: 0.6907 - acc: 0.9059 - val_loss: 0.6831 - val_acc: 0.9102Epoch 115/1000328s 657ms/step - loss: 0.6904 - acc: 0.9063 - val_loss: 0.6852 - val_acc: 0.9101Epoch 116/1000329s 657ms/step - loss: 0.6940 - acc: 0.9051 - val_loss: 0.6977 - val_acc: 0.9069Epoch 117/1000329s 657ms/step - loss: 0.6909 - acc: 0.9075 - val_loss: 0.6904 - val_acc: 0.9110Epoch 118/1000329s 658ms/step - loss: 0.6888 - acc: 0.9066 - val_loss: 0.6845 - val_acc: 0.9144Epoch 119/1000328s 657ms/step - loss: 0.6890 - acc: 0.9058 - val_loss: 0.6954 - val_acc: 0.9076Epoch 120/1000329s 657ms/step - loss: 0.6893 - acc: 0.9059 - val_loss: 0.6790 - val_acc: 0.9125Epoch 121/1000329s 657ms/step - loss: 0.6840 - acc: 0.9082 - val_loss: 0.6813 - val_acc: 0.9088Epoch 122/1000329s 657ms/step - loss: 0.6966 - acc: 0.9032 - val_loss: 0.6816 - val_acc: 0.9079Epoch 123/1000329s 657ms/step - loss: 0.6869 - acc: 0.9093 - val_loss: 0.6970 - val_acc: 0.9057Epoch 124/1000329s 657ms/step - loss: 0.6907 - acc: 0.9052 - val_loss: 0.6734 - val_acc: 0.9143Epoch 125/1000328s 657ms/step - loss: 0.6886 - acc: 0.9074 - val_loss: 0.6811 - val_acc: 0.9102Epoch 126/1000329s 657ms/step - loss: 0.6862 - acc: 0.9082 - val_loss: 0.7166 - val_acc: 0.8981Epoch 127/1000329s 657ms/step - loss: 0.6882 - acc: 0.9078 - val_loss: 0.6780 - val_acc: 0.9125Epoch 128/1000329s 657ms/step - loss: 0.6972 - acc: 0.9036 - val_loss: 0.6861 - val_acc: 0.9110Epoch 129/1000329s 657ms/step - loss: 0.6848 - acc: 0.9099 - val_loss: 0.6905 - val_acc: 0.9069Epoch 130/1000329s 657ms/step - loss: 0.6868 - acc: 0.9072 - val_loss: 0.6773 - val_acc: 0.9150Epoch 131/1000329s 657ms/step - loss: 0.6915 - acc: 0.9070 - val_loss: 0.6852 - val_acc: 0.9113Epoch 132/1000329s 657ms/step - loss: 0.6879 - acc: 0.9075 - val_loss: 0.6821 - val_acc: 0.9116Epoch 133/1000328s 657ms/step - loss: 0.6903 - acc: 0.9068 - val_loss: 0.6854 - val_acc: 0.9102Epoch 134/1000329s 657ms/step - loss: 0.6888 - acc: 0.9075 - val_loss: 0.6987 - val_acc: 0.9077Epoch 135/1000329s 658ms/step - loss: 0.6888 - acc: 0.9074 - val_loss: 0.7070 - val_acc: 0.9055Epoch 136/1000329s 657ms/step - loss: 0.6909 - acc: 0.9089 - val_loss: 0.6839 - val_acc: 0.9133Epoch 137/1000329s 657ms/step - loss: 0.6866 - acc: 0.9087 - val_loss: 0.6873 - val_acc: 0.9091Epoch 138/1000328s 657ms/step - loss: 0.6916 - acc: 0.9067 - val_loss: 0.6984 - val_acc: 0.9073Epoch 139/1000329s 658ms/step - loss: 0.6905 - acc: 0.9070 - val_loss: 0.6842 - val_acc: 0.9137Epoch 140/1000331s 662ms/step - loss: 0.6863 - acc: 0.9084 - val_loss: 0.6936 - val_acc: 0.9110Epoch 141/1000329s 657ms/step - loss: 0.6863 - acc: 0.9090 - val_loss: 0.7201 - val_acc: 0.9043Epoch 142/1000328s 657ms/step - loss: 0.6855 - acc: 0.9089 - val_loss: 0.6890 - val_acc: 0.9100Epoch 143/1000329s 657ms/step - loss: 0.6881 - acc: 0.9071 - val_loss: 0.6997 - val_acc: 0.9022Epoch 144/1000329s 657ms/step - loss: 0.6860 - acc: 0.9087 - val_loss: 0.6794 - val_acc: 0.9121Epoch 145/1000328s 657ms/step - loss: 0.6878 - acc: 0.9079 - val_loss: 0.6919 - val_acc: 0.9096Epoch 146/1000329s 657ms/step - loss: 0.6860 - acc: 0.9076 - val_loss: 0.6870 - val_acc: 0.9115Epoch 147/1000328s 657ms/step - loss: 0.6836 - acc: 0.9112 - val_loss: 0.6757 - val_acc: 0.9140Epoch 148/1000329s 658ms/step - loss: 0.6876 - acc: 0.9068 - val_loss: 0.6843 - val_acc: 0.9123Epoch 149/1000329s 657ms/step - loss: 0.6857 - acc: 0.9086 - val_loss: 0.6851 - val_acc: 0.9114Epoch 150/1000329s 659ms/step - loss: 0.6832 - acc: 0.9096 - val_loss: 0.6798 - val_acc: 0.9142Epoch 151/1000329s 659ms/step - loss: 0.6887 - acc: 0.9081 - val_loss: 0.6761 - val_acc: 0.9161Epoch 152/1000329s 658ms/step - loss: 0.6850 - acc: 0.9090 - val_loss: 0.7138 - val_acc: 0.9042Epoch 153/1000332s 664ms/step - loss: 0.6845 - acc: 0.9101 - val_loss: 0.6783 - val_acc: 0.9137Epoch 154/1000330s 659ms/step - loss: 0.6879 - acc: 0.9095 - val_loss: 0.6898 - val_acc: 0.9070Epoch 155/1000329s 657ms/step - loss: 0.6820 - acc: 0.9106 - val_loss: 0.6964 - val_acc: 0.9076Epoch 156/1000328s 657ms/step - loss: 0.6884 - acc: 0.9078 - val_loss: 0.6919 - val_acc: 0.9089Epoch 157/1000328s 657ms/step - loss: 0.6860 - acc: 0.9095 - val_loss: 0.6758 - val_acc: 0.9164Epoch 158/1000329s 658ms/step - loss: 0.6853 - acc: 0.9101 - val_loss: 0.6822 - val_acc: 0.9149Epoch 159/1000328s 657ms/step - loss: 0.6880 - acc: 0.9086 - val_loss: 0.6964 - val_acc: 0.9101Epoch 160/1000328s 657ms/step - loss: 0.6822 - acc: 0.9103 - val_loss: 0.6767 - val_acc: 0.9140Epoch 161/1000329s 657ms/step - loss: 0.6826 - acc: 0.9107 - val_loss: 0.6733 - val_acc: 0.9170Epoch 162/1000329s 658ms/step - loss: 0.6848 - acc: 0.9104 - val_loss: 0.7111 - val_acc: 0.9036Epoch 163/1000329s 657ms/step - loss: 0.6824 - acc: 0.9113 - val_loss: 0.6874 - val_acc: 0.9096Epoch 164/1000329s 657ms/step - loss: 0.6804 - acc: 0.9120 - val_loss: 0.6969 - val_acc: 0.9083Epoch 165/1000329s 657ms/step - loss: 0.6812 - acc: 0.9108 - val_loss: 0.6867 - val_acc: 0.9105Epoch 166/1000331s 663ms/step - loss: 0.6861 - acc: 0.9094 - val_loss: 0.7172 - val_acc: 0.9049Epoch 167/1000329s 658ms/step - loss: 0.6872 - acc: 0.9109 - val_loss: 0.7027 - val_acc: 0.9063Epoch 168/1000329s 658ms/step - loss: 0.6847 - acc: 0.9110 - val_loss: 0.6851 - val_acc: 0.9128Epoch 169/1000329s 657ms/step - loss: 0.6849 - acc: 0.9109 - val_loss: 0.6786 - val_acc: 0.9133Epoch 170/1000329s 657ms/step - loss: 0.6848 - acc: 0.9109 - val_loss: 0.6923 - val_acc: 0.9104Epoch 171/1000328s 657ms/step - loss: 0.6871 - acc: 0.9104 - val_loss: 0.7007 - val_acc: 0.9083Epoch 172/1000328s 657ms/step - loss: 0.6823 - acc: 0.9113 - val_loss: 0.6857 - val_acc: 0.9152Epoch 173/1000328s 657ms/step - loss: 0.6827 - acc: 0.9107 - val_loss: 0.6829 - val_acc: 0.9136Epoch 174/1000329s 657ms/step - loss: 0.6789 - acc: 0.9118 - val_loss: 0.6929 - val_acc: 0.9096Epoch 175/1000329s 658ms/step - loss: 0.6860 - acc: 0.9090 - val_loss: 0.6831 - val_acc: 0.9144Epoch 176/1000329s 657ms/step - loss: 0.6852 - acc: 0.9091 - val_loss: 0.6786 - val_acc: 0.9154Epoch 177/1000328s 657ms/step - loss: 0.6829 - acc: 0.9107 - val_loss: 0.6841 - val_acc: 0.9128Epoch 178/1000329s 657ms/step - loss: 0.6827 - acc: 0.9114 - val_loss: 0.6962 - val_acc: 0.9081Epoch 179/1000329s 658ms/step - loss: 0.6837 - acc: 0.9109 - val_loss: 0.6851 - val_acc: 0.9122Epoch 180/1000329s 657ms/step - loss: 0.6833 - acc: 0.9107 - val_loss: 0.6863 - val_acc: 0.9092Epoch 181/1000330s 659ms/step - loss: 0.6830 - acc: 0.9103 - val_loss: 0.7133 - val_acc: 0.9031Epoch 182/1000331s 661ms/step - loss: 0.6879 - acc: 0.9112 - val_loss: 0.6916 - val_acc: 0.9104Epoch 183/1000329s 657ms/step - loss: 0.6829 - acc: 0.9098 - val_loss: 0.6945 - val_acc: 0.9089Epoch 184/1000328s 657ms/step - loss: 0.6882 - acc: 0.9102 - val_loss: 0.6908 - val_acc: 0.9093Epoch 185/1000329s 657ms/step - loss: 0.6816 - acc: 0.9113 - val_loss: 0.6898 - val_acc: 0.9138Epoch 186/1000331s 662ms/step - loss: 0.6875 - acc: 0.9095 - val_loss: 0.6690 - val_acc: 0.9201Epoch 187/1000329s 659ms/step - loss: 0.6821 - acc: 0.9122 - val_loss: 0.6973 - val_acc: 0.9113Epoch 188/1000332s 665ms/step - loss: 0.6854 - acc: 0.9116 - val_loss: 0.6866 - val_acc: 0.9150Epoch 189/1000329s 657ms/step - loss: 0.6810 - acc: 0.9117 - val_loss: 0.6731 - val_acc: 0.9184Epoch 190/1000329s 657ms/step - loss: 0.6845 - acc: 0.9116 - val_loss: 0.6797 - val_acc: 0.9123Epoch 191/1000329s 658ms/step - loss: 0.6849 - acc: 0.9117 - val_loss: 0.6768 - val_acc: 0.9151Epoch 192/1000329s 657ms/step - loss: 0.6824 - acc: 0.9126 - val_loss: 0.6717 - val_acc: 0.9180Epoch 193/1000329s 657ms/step - loss: 0.6831 - acc: 0.9115 - val_loss: 0.6978 - val_acc: 0.9090Epoch 194/1000328s 657ms/step - loss: 0.6871 - acc: 0.9088 - val_loss: 0.6844 - val_acc: 0.9113Epoch 195/1000328s 657ms/step - loss: 0.6831 - acc: 0.9120 - val_loss: 0.6968 - val_acc: 0.9118Epoch 196/1000329s 657ms/step - loss: 0.6804 - acc: 0.9127 - val_loss: 0.6671 - val_acc: 0.9193Epoch 197/1000329s 657ms/step - loss: 0.6792 - acc: 0.9127 - val_loss: 0.6900 - val_acc: 0.9150Epoch 198/1000329s 657ms/step - loss: 0.6877 - acc: 0.9094 - val_loss: 0.6898 - val_acc: 0.9117Epoch 199/1000329s 657ms/step - loss: 0.6789 - acc: 0.9133 - val_loss: 0.6828 - val_acc: 0.9161Epoch 200/1000329s 657ms/step - loss: 0.6834 - acc: 0.9110 - val_loss: 0.6733 - val_acc: 0.9192Epoch 201/1000329s 657ms/step - loss: 0.6806 - acc: 0.9131 - val_loss: 0.6693 - val_acc: 0.9196Epoch 202/1000331s 662ms/step - loss: 0.6782 - acc: 0.9119 - val_loss: 0.6918 - val_acc: 0.9103Epoch 203/1000329s 658ms/step - loss: 0.6822 - acc: 0.9116 - val_loss: 0.7031 - val_acc: 0.9100Epoch 204/1000329s 658ms/step - loss: 0.6835 - acc: 0.9123 - val_loss: 0.6968 - val_acc: 0.9090Epoch 205/1000329s 658ms/step - loss: 0.6831 - acc: 0.9104 - val_loss: 0.6719 - val_acc: 0.9204Epoch 206/1000329s 658ms/step - loss: 0.6806 - acc: 0.9128 - val_loss: 0.6813 - val_acc: 0.9143Epoch 207/1000329s 657ms/step - loss: 0.6824 - acc: 0.9116 - val_loss: 0.6830 - val_acc: 0.9131Epoch 208/1000329s 658ms/step - loss: 0.6815 - acc: 0.9117 - val_loss: 0.6724 - val_acc: 0.9192Epoch 209/1000329s 658ms/step - loss: 0.6813 - acc: 0.9121 - val_loss: 0.6961 - val_acc: 0.9085Epoch 210/1000329s 658ms/step - loss: 0.6853 - acc: 0.9102 - val_loss: 0.6890 - val_acc: 0.9138Epoch 211/1000329s 658ms/step - loss: 0.6803 - acc: 0.9133 - val_loss: 0.6917 - val_acc: 0.9103Epoch 212/1000329s 658ms/step - loss: 0.6768 - acc: 0.9141 - val_loss: 0.6763 - val_acc: 0.9183Epoch 213/1000329s 658ms/step - loss: 0.6801 - acc: 0.9120 - val_loss: 0.6743 - val_acc: 0.9174Epoch 214/1000329s 658ms/step - loss: 0.6824 - acc: 0.9124 - val_loss: 0.6973 - val_acc: 0.9117Epoch 215/1000329s 657ms/step - loss: 0.6877 - acc: 0.9110 - val_loss: 0.6758 - val_acc: 0.9157Epoch 216/1000328s 657ms/step - loss: 0.6793 - acc: 0.9135 - val_loss: 0.6639 - val_acc: 0.9190Epoch 217/1000329s 657ms/step - loss: 0.6824 - acc: 0.9123 - val_loss: 0.6938 - val_acc: 0.9093Epoch 218/1000328s 657ms/step - loss: 0.6773 - acc: 0.9131 - val_loss: 0.6859 - val_acc: 0.9124Epoch 219/1000328s 657ms/step - loss: 0.6818 - acc: 0.9137 - val_loss: 0.7022 - val_acc: 0.9091Epoch 220/1000329s 657ms/step - loss: 0.6819 - acc: 0.9131 - val_loss: 0.6826 - val_acc: 0.9152Epoch 221/1000329s 659ms/step - loss: 0.6844 - acc: 0.9125 - val_loss: 0.6899 - val_acc: 0.9094Epoch 222/1000329s 658ms/step - loss: 0.6814 - acc: 0.9133 - val_loss: 0.6745 - val_acc: 0.9186Epoch 223/1000329s 658ms/step - loss: 0.6784 - acc: 0.9130 - val_loss: 0.7058 - val_acc: 0.9094Epoch 224/1000329s 658ms/step - loss: 0.6797 - acc: 0.9141 - val_loss: 0.6742 - val_acc: 0.9172Epoch 225/1000329s 658ms/step - loss: 0.6802 - acc: 0.9136 - val_loss: 0.6896 - val_acc: 0.9130Epoch 226/1000329s 658ms/step - loss: 0.6821 - acc: 0.9122 - val_loss: 0.6661 - val_acc: 0.9212Epoch 227/1000329s 657ms/step - loss: 0.6805 - acc: 0.9134 - val_loss: 0.6954 - val_acc: 0.9120Epoch 228/1000329s 657ms/step - loss: 0.6832 - acc: 0.9128 - val_loss: 0.6933 - val_acc: 0.9108Epoch 229/1000329s 658ms/step - loss: 0.6776 - acc: 0.9143 - val_loss: 0.6777 - val_acc: 0.9166Epoch 230/1000329s 658ms/step - loss: 0.6824 - acc: 0.9132 - val_loss: 0.7123 - val_acc: 0.9043Epoch 231/1000329s 658ms/step - loss: 0.6842 - acc: 0.9124 - val_loss: 0.6955 - val_acc: 0.9111Epoch 232/1000329s 657ms/step - loss: 0.6811 - acc: 0.9134 - val_loss: 0.6866 - val_acc: 0.9119Epoch 233/1000329s 658ms/step - loss: 0.6755 - acc: 0.9149 - val_loss: 0.7080 - val_acc: 0.9069Epoch 234/1000329s 658ms/step - loss: 0.6836 - acc: 0.9119 - val_loss: 0.6990 - val_acc: 0.9106Epoch 235/1000329s 658ms/step - loss: 0.6786 - acc: 0.9129 - val_loss: 0.6783 - val_acc: 0.9172Epoch 236/1000329s 658ms/step - loss: 0.6811 - acc: 0.9129 - val_loss: 0.6744 - val_acc: 0.9152Epoch 237/1000329s 658ms/step - loss: 0.6788 - acc: 0.9139 - val_loss: 0.6812 - val_acc: 0.9161Epoch 238/1000329s 658ms/step - loss: 0.6810 - acc: 0.9137 - val_loss: 0.6842 - val_acc: 0.9156Epoch 239/1000329s 658ms/step - loss: 0.6890 - acc: 0.9106 - val_loss: 0.6681 - val_acc: 0.9207Epoch 240/1000330s 660ms/step - loss: 0.6851 - acc: 0.9133 - val_loss: 0.6813 - val_acc: 0.9190Epoch 241/1000329s 659ms/step - loss: 0.6842 - acc: 0.9133 - val_loss: 0.6929 - val_acc: 0.9123Epoch 242/1000329s 658ms/step - loss: 0.6745 - acc: 0.9149 - val_loss: 0.6817 - val_acc: 0.9129Epoch 243/1000331s 662ms/step - loss: 0.6758 - acc: 0.9148 - val_loss: 0.6810 - val_acc: 0.9154Epoch 244/1000329s 658ms/step - loss: 0.6828 - acc: 0.9134 - val_loss: 0.6866 - val_acc: 0.9152Epoch 245/1000329s 659ms/step - loss: 0.6802 - acc: 0.9132 - val_loss: 0.6830 - val_acc: 0.9168Epoch 246/1000328s 657ms/step - loss: 0.6801 - acc: 0.9139 - val_loss: 0.6893 - val_acc: 0.9139Epoch 247/1000328s 657ms/step - loss: 0.6770 - acc: 0.9159 - val_loss: 0.6869 - val_acc: 0.9138Epoch 248/1000328s 657ms/step - loss: 0.6771 - acc: 0.9144 - val_loss: 0.6803 - val_acc: 0.9158Epoch 249/1000329s 657ms/step - loss: 0.6786 - acc: 0.9138 - val_loss: 0.6931 - val_acc: 0.9087Epoch 250/1000328s 657ms/step - loss: 0.6824 - acc: 0.9119 - val_loss: 0.6867 - val_acc: 0.9128Epoch 251/1000329s 657ms/step - loss: 0.6748 - acc: 0.9161 - val_loss: 0.6715 - val_acc: 0.9160Epoch 252/1000329s 658ms/step - loss: 0.6768 - acc: 0.9149 - val_loss: 0.6969 - val_acc: 0.9104Epoch 253/1000331s 663ms/step - loss: 0.6777 - acc: 0.9133 - val_loss: 0.6803 - val_acc: 0.9169Epoch 254/1000329s 657ms/step - loss: 0.6785 - acc: 0.9152 - val_loss: 0.6824 - val_acc: 0.9167Epoch 255/1000329s 657ms/step - loss: 0.6842 - acc: 0.9134 - val_loss: 0.6889 - val_acc: 0.9136Epoch 256/1000328s 657ms/step - loss: 0.6805 - acc: 0.9144 - val_loss: 0.6850 - val_acc: 0.9122Epoch 257/1000329s 657ms/step - loss: 0.6799 - acc: 0.9143 - val_loss: 0.6681 - val_acc: 0.9209Epoch 258/1000329s 657ms/step - loss: 0.6744 - acc: 0.9152 - val_loss: 0.6823 - val_acc: 0.9170Epoch 259/1000328s 657ms/step - loss: 0.6804 - acc: 0.9139 - val_loss: 0.6833 - val_acc: 0.9150Epoch 260/1000332s 663ms/step - loss: 0.6776 - acc: 0.9148 - val_loss: 0.6851 - val_acc: 0.9137Epoch 261/1000329s 657ms/step - loss: 0.6786 - acc: 0.9142 - val_loss: 0.6813 - val_acc: 0.9166Epoch 262/1000328s 657ms/step - loss: 0.6834 - acc: 0.9129 - val_loss: 0.6840 - val_acc: 0.9174Epoch 263/1000328s 657ms/step - loss: 0.6761 - acc: 0.9163 - val_loss: 0.6774 - val_acc: 0.9140Epoch 264/1000328s 657ms/step - loss: 0.6754 - acc: 0.9142 - val_loss: 0.6793 - val_acc: 0.9166Epoch 265/1000332s 663ms/step - loss: 0.6817 - acc: 0.9137 - val_loss: 0.7218 - val_acc: 0.9043Epoch 266/1000329s 657ms/step - loss: 0.6812 - acc: 0.9142 - val_loss: 0.6807 - val_acc: 0.9142Epoch 267/1000328s 656ms/step - loss: 0.6719 - acc: 0.9164 - val_loss: 0.6801 - val_acc: 0.9183Epoch 268/1000330s 659ms/step - loss: 0.6768 - acc: 0.9142 - val_loss: 0.6874 - val_acc: 0.9134Epoch 269/1000329s 658ms/step - loss: 0.6747 - acc: 0.9157 - val_loss: 0.6954 - val_acc: 0.9114Epoch 270/1000329s 658ms/step - loss: 0.6737 - acc: 0.9150 - val_loss: 0.6955 - val_acc: 0.9102Epoch 271/1000328s 656ms/step - loss: 0.6770 - acc: 0.9148 - val_loss: 0.6853 - val_acc: 0.9104Epoch 272/1000328s 656ms/step - loss: 0.6785 - acc: 0.9139 - val_loss: 0.6960 - val_acc: 0.9134Epoch 273/1000328s 656ms/step - loss: 0.6830 - acc: 0.9136 - val_loss: 0.6851 - val_acc: 0.9141Epoch 274/1000328s 656ms/step - loss: 0.6784 - acc: 0.9143 - val_loss: 0.6921 - val_acc: 0.9119Epoch 275/1000328s 656ms/step - loss: 0.6786 - acc: 0.9135 - val_loss: 0.6974 - val_acc: 0.9074Epoch 276/1000329s 659ms/step - loss: 0.6739 - acc: 0.9164 - val_loss: 0.6864 - val_acc: 0.9137Epoch 277/1000329s 658ms/step - loss: 0.6805 - acc: 0.9154 - val_loss: 0.7002 - val_acc: 0.9091Epoch 278/1000329s 658ms/step - loss: 0.6839 - acc: 0.9110 - val_loss: 0.6873 - val_acc: 0.9170Epoch 279/1000329s 657ms/step - loss: 0.6806 - acc: 0.9142 - val_loss: 0.6887 - val_acc: 0.9139Epoch 280/1000329s 658ms/step - loss: 0.6830 - acc: 0.9149 - val_loss: 0.6858 - val_acc: 0.9136Epoch 281/1000329s 658ms/step - loss: 0.6815 - acc: 0.9150 - val_loss: 0.7072 - val_acc: 0.9102Epoch 282/1000329s 658ms/step - loss: 0.6824 - acc: 0.9150 - val_loss: 0.6886 - val_acc: 0.9141Epoch 283/1000329s 658ms/step - loss: 0.6759 - acc: 0.9165 - val_loss: 0.6684 - val_acc: 0.9154Epoch 284/1000329s 658ms/step - loss: 0.6777 - acc: 0.9159 - val_loss: 0.6890 - val_acc: 0.9133Epoch 285/1000329s 658ms/step - loss: 0.6739 - acc: 0.9146 - val_loss: 0.6872 - val_acc: 0.9134Epoch 286/1000329s 657ms/step - loss: 0.6761 - acc: 0.9160 - val_loss: 0.6999 - val_acc: 0.9128Epoch 287/1000329s 658ms/step - loss: 0.6830 - acc: 0.9131 - val_loss: 0.7030 - val_acc: 0.9074Epoch 288/1000329s 659ms/step - loss: 0.6833 - acc: 0.9146 - val_loss: 0.6731 - val_acc: 0.9201Epoch 289/1000329s 657ms/step - loss: 0.6811 - acc: 0.9156 - val_loss: 0.6852 - val_acc: 0.9137Epoch 290/1000329s 658ms/step - loss: 0.6783 - acc: 0.9158 - val_loss: 0.6965 - val_acc: 0.9127Epoch 291/1000329s 658ms/step - loss: 0.6793 - acc: 0.9147 - val_loss: 0.7039 - val_acc: 0.9103Epoch 292/1000329s 657ms/step - loss: 0.6802 - acc: 0.9141 - val_loss: 0.6988 - val_acc: 0.9117Epoch 293/1000329s 658ms/step - loss: 0.6731 - acc: 0.9181 - val_loss: 0.6805 - val_acc: 0.9176Epoch 294/1000329s 657ms/step - loss: 0.6777 - acc: 0.9160 - val_loss: 0.6879 - val_acc: 0.9152Epoch 295/1000329s 658ms/step - loss: 0.6797 - acc: 0.9135 - val_loss: 0.7164 - val_acc: 0.9047Epoch 296/1000329s 658ms/step - loss: 0.6779 - acc: 0.9155 - val_loss: 0.7147 - val_acc: 0.9053Epoch 297/1000329s 658ms/step - loss: 0.6819 - acc: 0.9145 - val_loss: 0.6997 - val_acc: 0.9125Epoch 298/1000329s 658ms/step - loss: 0.6778 - acc: 0.9159 - val_loss: 0.6868 - val_acc: 0.9186Epoch 299/1000329s 658ms/step - loss: 0.6737 - acc: 0.9162 - val_loss: 0.7111 - val_acc: 0.9053Epoch 300/1000329s 658ms/step - loss: 0.6785 - acc: 0.9150 - val_loss: 0.6837 - val_acc: 0.9176Epoch 301/1000lr changed to 0.010000000149011612329s 657ms/step - loss: 0.5770 - acc: 0.9504 - val_loss: 0.5992 - val_acc: 0.9421Epoch 302/1000329s 657ms/step - loss: 0.5208 - acc: 0.9675 - val_loss: 0.5883 - val_acc: 0.9469Epoch 303/1000329s 657ms/step - loss: 0.4996 - acc: 0.9727 - val_loss: 0.5778 - val_acc: 0.9466Epoch 304/1000329s 658ms/step - loss: 0.4859 - acc: 0.9737 - val_loss: 0.5660 - val_acc: 0.9480Epoch 305/1000329s 657ms/step - loss: 0.4716 - acc: 0.9773 - val_loss: 0.5623 - val_acc: 0.9476Epoch 306/1000329s 657ms/step - loss: 0.4561 - acc: 0.9802 - val_loss: 0.5534 - val_acc: 0.9496Epoch 307/1000329s 657ms/step - loss: 0.4473 - acc: 0.9807 - val_loss: 0.5434 - val_acc: 0.9488Epoch 308/1000329s 657ms/step - loss: 0.4373 - acc: 0.9814 - val_loss: 0.5413 - val_acc: 0.9494Epoch 309/1000329s 658ms/step - loss: 0.4271 - acc: 0.9827 - val_loss: 0.5359 - val_acc: 0.9481Epoch 310/1000329s 657ms/step - loss: 0.4173 - acc: 0.9838 - val_loss: 0.5266 - val_acc: 0.9509Epoch 311/1000329s 657ms/step - loss: 0.4078 - acc: 0.9856 - val_loss: 0.5195 - val_acc: 0.9496Epoch 312/1000329s 657ms/step - loss: 0.4022 - acc: 0.9846 - val_loss: 0.5200 - val_acc: 0.9493Epoch 313/1000329s 658ms/step - loss: 0.3934 - acc: 0.9860 - val_loss: 0.5136 - val_acc: 0.9505Epoch 314/1000329s 657ms/step - loss: 0.3863 - acc: 0.9862 - val_loss: 0.5125 - val_acc: 0.9480Epoch 315/1000329s 657ms/step - loss: 0.3784 - acc: 0.9875 - val_loss: 0.5041 - val_acc: 0.9503Epoch 316/1000329s 657ms/step - loss: 0.3740 - acc: 0.9866 - val_loss: 0.5026 - val_acc: 0.9485Epoch 317/1000328s 657ms/step - loss: 0.3689 - acc: 0.9867 - val_loss: 0.4907 - val_acc: 0.9518Epoch 318/1000329s 657ms/step - loss: 0.3607 - acc: 0.9878 - val_loss: 0.4934 - val_acc: 0.9506Epoch 319/1000330s 659ms/step - loss: 0.3558 - acc: 0.9873 - val_loss: 0.4836 - val_acc: 0.9503Epoch 320/1000329s 657ms/step - loss: 0.3465 - acc: 0.9890 - val_loss: 0.4787 - val_acc: 0.9514Epoch 321/1000328s 657ms/step - loss: 0.3427 - acc: 0.9891 - val_loss: 0.4784 - val_acc: 0.9509Epoch 322/1000331s 663ms/step - loss: 0.3382 - acc: 0.9890 - val_loss: 0.4716 - val_acc: 0.9506Epoch 323/1000329s 658ms/step - loss: 0.3314 - acc: 0.9894 - val_loss: 0.4708 - val_acc: 0.9509Epoch 324/1000329s 657ms/step - loss: 0.3292 - acc: 0.9892 - val_loss: 0.4612 - val_acc: 0.9534Epoch 325/1000329s 657ms/step - loss: 0.3212 - acc: 0.9900 - val_loss: 0.4520 - val_acc: 0.9509Epoch 326/1000328s 657ms/step - loss: 0.3152 - acc: 0.9903 - val_loss: 0.4612 - val_acc: 0.9474Epoch 327/1000332s 663ms/step - loss: 0.3132 - acc: 0.9898 - val_loss: 0.4641 - val_acc: 0.9496Epoch 328/1000329s 657ms/step - loss: 0.3069 - acc: 0.9902 - val_loss: 0.4569 - val_acc: 0.9486Epoch 329/1000328s 657ms/step - loss: 0.3031 - acc: 0.9903 - val_loss: 0.4423 - val_acc: 0.9518Epoch 330/1000328s 657ms/step - loss: 0.2982 - acc: 0.9912 - val_loss: 0.4525 - val_acc: 0.9481Epoch 331/1000328s 657ms/step - loss: 0.2959 - acc: 0.9901 - val_loss: 0.4381 - val_acc: 0.9503Epoch 332/1000328s 656ms/step - loss: 0.2898 - acc: 0.9912 - val_loss: 0.4353 - val_acc: 0.9500Epoch 333/1000328s 656ms/step - loss: 0.2859 - acc: 0.9912 - val_loss: 0.4339 - val_acc: 0.9501Epoch 334/1000328s 657ms/step - loss: 0.2828 - acc: 0.9906 - val_loss: 0.4305 - val_acc: 0.9490Epoch 335/1000329s 657ms/step - loss: 0.2783 - acc: 0.9907 - val_loss: 0.4230 - val_acc: 0.9503Epoch 336/1000328s 657ms/step - loss: 0.2781 - acc: 0.9898 - val_loss: 0.4222 - val_acc: 0.9493Epoch 337/1000329s 657ms/step - loss: 0.2726 - acc: 0.9908 - val_loss: 0.4270 - val_acc: 0.9477Epoch 338/1000328s 657ms/step - loss: 0.2687 - acc: 0.9911 - val_loss: 0.4215 - val_acc: 0.9448Epoch 339/1000328s 657ms/step - loss: 0.2673 - acc: 0.9905 - val_loss: 0.4133 - val_acc: 0.9483Epoch 340/1000328s 657ms/step - loss: 0.2617 - acc: 0.9911 - val_loss: 0.4149 - val_acc: 0.9478Epoch 341/1000328s 657ms/step - loss: 0.2602 - acc: 0.9913 - val_loss: 0.4231 - val_acc: 0.9440Epoch 342/1000328s 657ms/step - loss: 0.2589 - acc: 0.9900 - val_loss: 0.4154 - val_acc: 0.9473Epoch 343/1000328s 657ms/step - loss: 0.2541 - acc: 0.9909 - val_loss: 0.4021 - val_acc: 0.9478Epoch 344/1000328s 657ms/step - loss: 0.2513 - acc: 0.9909 - val_loss: 0.4091 - val_acc: 0.9475Epoch 345/1000328s 657ms/step - loss: 0.2505 - acc: 0.9900 - val_loss: 0.4080 - val_acc: 0.9456Epoch 346/1000328s 657ms/step - loss: 0.2472 - acc: 0.9906 - val_loss: 0.3935 - val_acc: 0.9482Epoch 347/1000328s 656ms/step - loss: 0.2437 - acc: 0.9906 - val_loss: 0.3987 - val_acc: 0.9493Epoch 348/1000328s 656ms/step - loss: 0.2421 - acc: 0.9903 - val_loss: 0.3932 - val_acc: 0.9485Epoch 349/1000328s 656ms/step - loss: 0.2368 - acc: 0.9912 - val_loss: 0.3914 - val_acc: 0.9464Epoch 350/1000328s 657ms/step - loss: 0.2344 - acc: 0.9916 - val_loss: 0.3882 - val_acc: 0.9518Epoch 351/1000328s 657ms/step - loss: 0.2372 - acc: 0.9898 - val_loss: 0.3939 - val_acc: 0.9494Epoch 352/1000328s 657ms/step - loss: 0.2300 - acc: 0.9916 - val_loss: 0.3815 - val_acc: 0.9498Epoch 353/1000328s 657ms/step - loss: 0.2291 - acc: 0.9910 - val_loss: 0.3883 - val_acc: 0.9481Epoch 354/1000328s 657ms/step - loss: 0.2283 - acc: 0.9906 - val_loss: 0.3821 - val_acc: 0.9494Epoch 355/1000328s 657ms/step - loss: 0.2276 - acc: 0.9902 - val_loss: 0.3774 - val_acc: 0.9492Epoch 356/1000328s 657ms/step - loss: 0.2281 - acc: 0.9894 - val_loss: 0.3822 - val_acc: 0.9473Epoch 357/1000328s 657ms/step - loss: 0.2223 - acc: 0.9907 - val_loss: 0.3756 - val_acc: 0.9491Epoch 358/1000328s 657ms/step - loss: 0.2216 - acc: 0.9904 - val_loss: 0.3771 - val_acc: 0.9477Epoch 359/1000328s 657ms/step - loss: 0.2188 - acc: 0.9912 - val_loss: 0.3739 - val_acc: 0.9495Epoch 360/1000328s 657ms/step - loss: 0.2189 - acc: 0.9901 - val_loss: 0.3738 - val_acc: 0.9475Epoch 361/1000328s 657ms/step - loss: 0.2168 - acc: 0.9902 - val_loss: 0.3730 - val_acc: 0.9481Epoch 362/1000328s 657ms/step - loss: 0.2173 - acc: 0.9899 - val_loss: 0.3589 - val_acc: 0.9504Epoch 363/1000328s 657ms/step - loss: 0.2128 - acc: 0.9904 - val_loss: 0.3682 - val_acc: 0.9472Epoch 364/1000330s 659ms/step - loss: 0.2124 - acc: 0.9904 - val_loss: 0.3653 - val_acc: 0.9479Epoch 365/1000330s 660ms/step - loss: 0.2117 - acc: 0.9894 - val_loss: 0.3719 - val_acc: 0.9450Epoch 366/1000329s 659ms/step - loss: 0.2108 - acc: 0.9899 - val_loss: 0.3576 - val_acc: 0.9490Epoch 367/1000329s 658ms/step - loss: 0.2106 - acc: 0.9895 - val_loss: 0.3704 - val_acc: 0.9456Epoch 368/1000329s 657ms/step - loss: 0.2081 - acc: 0.9895 - val_loss: 0.3577 - val_acc: 0.9466Epoch 369/1000328s 657ms/step - loss: 0.2038 - acc: 0.9904 - val_loss: 0.3626 - val_acc: 0.9471Epoch 370/1000328s 657ms/step - loss: 0.2059 - acc: 0.9898 - val_loss: 0.3613 - val_acc: 0.9491Epoch 371/1000328s 657ms/step - loss: 0.2059 - acc: 0.9898 - val_loss: 0.3732 - val_acc: 0.9465Epoch 372/1000328s 657ms/step - loss: 0.2048 - acc: 0.9894 - val_loss: 0.3616 - val_acc: 0.9457Epoch 373/1000328s 657ms/step - loss: 0.2022 - acc: 0.9900 - val_loss: 0.3588 - val_acc: 0.9481Epoch 374/1000328s 657ms/step - loss: 0.2023 - acc: 0.9895 - val_loss: 0.3583 - val_acc: 0.9484Epoch 375/1000329s 657ms/step - loss: 0.2013 - acc: 0.9900 - val_loss: 0.3643 - val_acc: 0.9455Epoch 376/1000329s 657ms/step - loss: 0.2018 - acc: 0.9891 - val_loss: 0.3557 - val_acc: 0.9478Epoch 377/1000328s 657ms/step - loss: 0.2003 - acc: 0.9895 - val_loss: 0.3644 - val_acc: 0.9445Epoch 378/1000328s 656ms/step - loss: 0.2023 - acc: 0.9884 - val_loss: 0.3578 - val_acc: 0.9476Epoch 379/1000328s 657ms/step - loss: 0.1998 - acc: 0.9888 - val_loss: 0.3567 - val_acc: 0.9454Epoch 380/1000332s 664ms/step - loss: 0.1991 - acc: 0.9893 - val_loss: 0.3600 - val_acc: 0.9451Epoch 381/1000329s 657ms/step - loss: 0.1950 - acc: 0.9900 - val_loss: 0.3538 - val_acc: 0.9468Epoch 382/1000329s 657ms/step - loss: 0.1961 - acc: 0.9890 - val_loss: 0.3451 - val_acc: 0.9468Epoch 383/1000328s 657ms/step - loss: 0.1977 - acc: 0.9884 - val_loss: 0.3535 - val_acc: 0.9432Epoch 384/1000328s 657ms/step - loss: 0.1958 - acc: 0.9891 - val_loss: 0.3577 - val_acc: 0.9419Epoch 385/1000328s 657ms/step - loss: 0.1961 - acc: 0.9887 - val_loss: 0.3571 - val_acc: 0.9452Epoch 386/1000329s 657ms/step - loss: 0.1943 - acc: 0.9889 - val_loss: 0.3603 - val_acc: 0.9442Epoch 387/1000328s 657ms/step - loss: 0.1981 - acc: 0.9869 - val_loss: 0.3641 - val_acc: 0.9416Epoch 388/1000328s 657ms/step - loss: 0.1949 - acc: 0.9887 - val_loss: 0.3548 - val_acc: 0.9432Epoch 389/1000329s 657ms/step - loss: 0.1933 - acc: 0.9887 - val_loss: 0.3459 - val_acc: 0.9449Epoch 390/1000329s 657ms/step - loss: 0.1939 - acc: 0.9885 - val_loss: 0.3379 - val_acc: 0.9466Epoch 391/1000329s 657ms/step - loss: 0.1938 - acc: 0.9884 - val_loss: 0.3575 - val_acc: 0.9433Epoch 392/1000329s 657ms/step - loss: 0.1972 - acc: 0.9868 - val_loss: 0.3548 - val_acc: 0.9441Epoch 393/1000329s 657ms/step - loss: 0.1943 - acc: 0.9881 - val_loss: 0.3556 - val_acc: 0.9435Epoch 394/1000329s 658ms/step - loss: 0.1933 - acc: 0.9886 - val_loss: 0.3489 - val_acc: 0.9457Epoch 395/1000328s 657ms/step - loss: 0.1926 - acc: 0.9884 - val_loss: 0.3485 - val_acc: 0.9440Epoch 396/1000328s 657ms/step - loss: 0.1903 - acc: 0.9885 - val_loss: 0.3540 - val_acc: 0.9446Epoch 397/1000330s 659ms/step - loss: 0.1913 - acc: 0.9885 - val_loss: 0.3534 - val_acc: 0.9427Epoch 398/1000329s 658ms/step - loss: 0.1897 - acc: 0.9885 - val_loss: 0.3375 - val_acc: 0.9464Epoch 399/1000329s 657ms/step - loss: 0.1927 - acc: 0.9875 - val_loss: 0.3494 - val_acc: 0.9444Epoch 400/1000328s 657ms/step - loss: 0.1917 - acc: 0.9881 - val_loss: 0.3432 - val_acc: 0.9447Epoch 401/1000328s 657ms/step - loss: 0.1877 - acc: 0.9894 - val_loss: 0.3430 - val_acc: 0.9449Epoch 402/1000328s 657ms/step - loss: 0.1900 - acc: 0.9884 - val_loss: 0.3664 - val_acc: 0.9419Epoch 403/1000329s 657ms/step - loss: 0.1913 - acc: 0.9875 - val_loss: 0.3469 - val_acc: 0.9459Epoch 404/1000329s 657ms/step - loss: 0.1924 - acc: 0.9872 - val_loss: 0.3547 - val_acc: 0.9452Epoch 405/1000328s 657ms/step - loss: 0.1900 - acc: 0.9887 - val_loss: 0.3501 - val_acc: 0.9441Epoch 406/1000328s 657ms/step - loss: 0.1911 - acc: 0.9872 - val_loss: 0.3573 - val_acc: 0.9431Epoch 407/1000329s 657ms/step - loss: 0.1874 - acc: 0.9886 - val_loss: 0.3519 - val_acc: 0.9460Epoch 408/1000329s 657ms/step - loss: 0.1926 - acc: 0.9870 - val_loss: 0.3478 - val_acc: 0.9462Epoch 409/1000329s 657ms/step - loss: 0.1916 - acc: 0.9869 - val_loss: 0.3500 - val_acc: 0.9449Epoch 410/1000328s 657ms/step - loss: 0.1915 - acc: 0.9870 - val_loss: 0.3512 - val_acc: 0.9452Epoch 411/1000329s 658ms/step - loss: 0.1876 - acc: 0.9886 - val_loss: 0.3431 - val_acc: 0.9435Epoch 412/1000331s 662ms/step - loss: 0.1951 - acc: 0.9859 - val_loss: 0.3366 - val_acc: 0.9466Epoch 413/1000329s 657ms/step - loss: 0.1895 - acc: 0.9876 - val_loss: 0.3440 - val_acc: 0.9437Epoch 414/1000328s 657ms/step - loss: 0.1882 - acc: 0.9882 - val_loss: 0.3619 - val_acc: 0.9400Epoch 415/1000328s 657ms/step - loss: 0.1893 - acc: 0.9880 - val_loss: 0.3529 - val_acc: 0.9424Epoch 416/1000328s 657ms/step - loss: 0.1877 - acc: 0.9880 - val_loss: 0.3540 - val_acc: 0.9433Epoch 417/1000329s 657ms/step - loss: 0.1873 - acc: 0.9884 - val_loss: 0.3545 - val_acc: 0.9424Epoch 418/1000329s 657ms/step - loss: 0.1889 - acc: 0.9874 - val_loss: 0.3537 - val_acc: 0.9426Epoch 419/1000329s 657ms/step - loss: 0.1903 - acc: 0.9871 - val_loss: 0.3464 - val_acc: 0.9459Epoch 420/1000328s 657ms/step - loss: 0.1900 - acc: 0.9874 - val_loss: 0.3565 - val_acc: 0.9428Epoch 421/1000329s 657ms/step - loss: 0.1872 - acc: 0.9884 - val_loss: 0.3565 - val_acc: 0.9424Epoch 422/1000330s 659ms/step - loss: 0.1890 - acc: 0.9875 - val_loss: 0.3470 - val_acc: 0.9450Epoch 423/1000329s 658ms/step - loss: 0.1864 - acc: 0.9879 - val_loss: 0.3528 - val_acc: 0.9424Epoch 424/1000328s 657ms/step - loss: 0.1845 - acc: 0.9890 - val_loss: 0.3499 - val_acc: 0.9438Epoch 425/1000329s 658ms/step - loss: 0.1873 - acc: 0.9874 - val_loss: 0.3495 - val_acc: 0.9447Epoch 426/1000330s 661ms/step - loss: 0.1891 - acc: 0.9871 - val_loss: 0.3605 - val_acc: 0.9415Epoch 427/1000330s 661ms/step - loss: 0.1843 - acc: 0.9887 - val_loss: 0.3556 - val_acc: 0.9409Epoch 428/1000330s 659ms/step - loss: 0.1882 - acc: 0.9872 - val_loss: 0.3518 - val_acc: 0.9433Epoch 429/1000329s 657ms/step - loss: 0.1841 - acc: 0.9892 - val_loss: 0.3497 - val_acc: 0.9436Epoch 430/1000329s 657ms/step - loss: 0.1851 - acc: 0.9885 - val_loss: 0.3550 - val_acc: 0.9421Epoch 431/1000328s 657ms/step - loss: 0.1887 - acc: 0.9871 - val_loss: 0.3536 - val_acc: 0.9416Epoch 432/1000329s 657ms/step - loss: 0.1885 - acc: 0.9872 - val_loss: 0.3466 - val_acc: 0.9428Epoch 433/1000328s 657ms/step - loss: 0.1879 - acc: 0.9874 - val_loss: 0.3522 - val_acc: 0.9425Epoch 434/1000329s 658ms/step - loss: 0.1856 - acc: 0.9881 - val_loss: 0.3519 - val_acc: 0.9423Epoch 435/1000328s 657ms/step - loss: 0.1839 - acc: 0.9889 - val_loss: 0.3726 - val_acc: 0.9383Epoch 436/1000328s 657ms/step - loss: 0.1902 - acc: 0.9861 - val_loss: 0.3510 - val_acc: 0.9399Epoch 437/1000329s 658ms/step - loss: 0.1854 - acc: 0.9882 - val_loss: 0.3482 - val_acc: 0.9414Epoch 438/1000328s 657ms/step - loss: 0.1847 - acc: 0.9883 - val_loss: 0.3570 - val_acc: 0.9415Epoch 439/1000328s 657ms/step - loss: 0.1857 - acc: 0.9884 - val_loss: 0.3522 - val_acc: 0.9433Epoch 440/1000329s 657ms/step - loss: 0.1839 - acc: 0.9888 - val_loss: 0.3434 - val_acc: 0.9442Epoch 441/1000328s 657ms/step - loss: 0.1876 - acc: 0.9874 - val_loss: 0.3512 - val_acc: 0.9401Epoch 442/1000329s 657ms/step - loss: 0.1866 - acc: 0.9877 - val_loss: 0.3548 - val_acc: 0.9422Epoch 443/1000334s 669ms/step - loss: 0.1852 - acc: 0.9883 - val_loss: 0.3458 - val_acc: 0.9443Epoch 444/1000329s 658ms/step - loss: 0.1884 - acc: 0.9870 - val_loss: 0.3534 - val_acc: 0.9417Epoch 445/1000328s 657ms/step - loss: 0.1840 - acc: 0.9885 - val_loss: 0.3517 - val_acc: 0.9419Epoch 446/1000329s 657ms/step - loss: 0.1839 - acc: 0.9885 - val_loss: 0.3501 - val_acc: 0.9439Epoch 447/1000328s 657ms/step - loss: 0.1840 - acc: 0.9883 - val_loss: 0.3399 - val_acc: 0.9455Epoch 448/1000329s 657ms/step - loss: 0.1835 - acc: 0.9883 - val_loss: 0.3629 - val_acc: 0.9417Epoch 449/1000330s 659ms/step - loss: 0.1815 - acc: 0.9896 - val_loss: 0.3553 - val_acc: 0.9434Epoch 450/1000329s 658ms/step - loss: 0.1841 - acc: 0.9877 - val_loss: 0.3474 - val_acc: 0.9454Epoch 451/1000330s 660ms/step - loss: 0.1816 - acc: 0.9890 - val_loss: 0.3567 - val_acc: 0.9397Epoch 452/1000330s 660ms/step - loss: 0.1836 - acc: 0.9883 - val_loss: 0.3364 - val_acc: 0.9469Epoch 453/1000329s 658ms/step - loss: 0.1818 - acc: 0.9886 - val_loss: 0.3436 - val_acc: 0.9454Epoch 454/1000329s 658ms/step - loss: 0.1781 - acc: 0.9902 - val_loss: 0.3314 - val_acc: 0.9465Epoch 455/1000329s 657ms/step - loss: 0.1814 - acc: 0.9884 - val_loss: 0.3400 - val_acc: 0.9446Epoch 456/1000329s 657ms/step - loss: 0.1825 - acc: 0.9884 - val_loss: 0.3421 - val_acc: 0.9442Epoch 457/1000329s 657ms/step - loss: 0.1848 - acc: 0.9873 - val_loss: 0.3504 - val_acc: 0.9433Epoch 458/1000328s 657ms/step - loss: 0.1817 - acc: 0.9886 - val_loss: 0.3600 - val_acc: 0.9422Epoch 459/1000329s 657ms/step - loss: 0.1861 - acc: 0.9872 - val_loss: 0.3680 - val_acc: 0.9384Epoch 460/1000329s 659ms/step - loss: 0.1831 - acc: 0.9879 - val_loss: 0.3521 - val_acc: 0.9419Epoch 461/1000329s 658ms/step - loss: 0.1844 - acc: 0.9877 - val_loss: 0.3513 - val_acc: 0.9403Epoch 462/1000328s 657ms/step - loss: 0.1837 - acc: 0.9879 - val_loss: 0.3626 - val_acc: 0.9387Epoch 463/1000328s 657ms/step - loss: 0.1812 - acc: 0.9887 - val_loss: 0.3557 - val_acc: 0.9431Epoch 464/1000329s 657ms/step - loss: 0.1848 - acc: 0.9875 - val_loss: 0.3440 - val_acc: 0.9448Epoch 465/1000328s 657ms/step - loss: 0.1801 - acc: 0.9894 - val_loss: 0.3510 - val_acc: 0.9440Epoch 466/1000328s 657ms/step - loss: 0.1853 - acc: 0.9875 - val_loss: 0.3525 - val_acc: 0.9391Epoch 467/1000329s 657ms/step - loss: 0.1828 - acc: 0.9883 - val_loss: 0.3530 - val_acc: 0.9422Epoch 468/1000328s 657ms/step - loss: 0.1820 - acc: 0.9886 - val_loss: 0.3529 - val_acc: 0.9403Epoch 469/1000328s 657ms/step - loss: 0.1795 - acc: 0.9895 - val_loss: 0.3502 - val_acc: 0.9428Epoch 470/1000328s 657ms/step - loss: 0.1820 - acc: 0.9882 - val_loss: 0.3575 - val_acc: 0.9421Epoch 471/1000329s 657ms/step - loss: 0.1801 - acc: 0.9892 - val_loss: 0.3509 - val_acc: 0.9416Epoch 472/1000329s 657ms/step - loss: 0.1813 - acc: 0.9887 - val_loss: 0.3361 - val_acc: 0.9469Epoch 473/1000329s 658ms/step - loss: 0.1789 - acc: 0.9895 - val_loss: 0.3589 - val_acc: 0.9412Epoch 474/1000329s 657ms/step - loss: 0.1848 - acc: 0.9867 - val_loss: 0.3478 - val_acc: 0.9427Epoch 475/1000328s 657ms/step - loss: 0.1810 - acc: 0.9894 - val_loss: 0.3494 - val_acc: 0.9436Epoch 476/1000329s 657ms/step - loss: 0.1837 - acc: 0.9876 - val_loss: 0.3572 - val_acc: 0.9415Epoch 477/1000328s 657ms/step - loss: 0.1795 - acc: 0.9898 - val_loss: 0.3572 - val_acc: 0.9409Epoch 478/1000329s 657ms/step - loss: 0.1797 - acc: 0.9897 - val_loss: 0.3639 - val_acc: 0.9373Epoch 479/1000329s 657ms/step - loss: 0.1801 - acc: 0.9891 - val_loss: 0.3454 - val_acc: 0.9440Epoch 480/1000329s 657ms/step - loss: 0.1797 - acc: 0.9887 - val_loss: 0.3468 - val_acc: 0.9443Epoch 481/1000328s 657ms/step - loss: 0.1827 - acc: 0.9877 - val_loss: 0.3535 - val_acc: 0.9381Epoch 482/1000329s 657ms/step - loss: 0.1837 - acc: 0.9881 - val_loss: 0.3552 - val_acc: 0.9410Epoch 483/1000329s 657ms/step - loss: 0.1807 - acc: 0.9887 - val_loss: 0.3533 - val_acc: 0.9434Epoch 484/1000328s 657ms/step - loss: 0.1824 - acc: 0.9879 - val_loss: 0.3630 - val_acc: 0.9394Epoch 485/1000329s 657ms/step - loss: 0.1800 - acc: 0.9888 - val_loss: 0.3462 - val_acc: 0.9434Epoch 486/1000329s 657ms/step - loss: 0.1782 - acc: 0.9895 - val_loss: 0.3476 - val_acc: 0.9441Epoch 487/1000329s 657ms/step - loss: 0.1823 - acc: 0.9881 - val_loss: 0.3564 - val_acc: 0.9409Epoch 488/1000329s 657ms/step - loss: 0.1804 - acc: 0.9889 - val_loss: 0.3665 - val_acc: 0.9390Epoch 489/1000328s 657ms/step - loss: 0.1866 - acc: 0.9864 - val_loss: 0.3538 - val_acc: 0.9397Epoch 490/1000329s 657ms/step - loss: 0.1808 - acc: 0.9889 - val_loss: 0.3444 - val_acc: 0.9453Epoch 491/1000329s 657ms/step - loss: 0.1814 - acc: 0.9884 - val_loss: 0.3515 - val_acc: 0.9424Epoch 492/1000329s 657ms/step - loss: 0.1819 - acc: 0.9879 - val_loss: 0.3566 - val_acc: 0.9418Epoch 493/1000328s 657ms/step - loss: 0.1840 - acc: 0.9871 - val_loss: 0.3693 - val_acc: 0.9382Epoch 494/1000329s 657ms/step - loss: 0.1798 - acc: 0.9892 - val_loss: 0.3536 - val_acc: 0.9424Epoch 495/1000328s 657ms/step - loss: 0.1787 - acc: 0.9896 - val_loss: 0.3460 - val_acc: 0.9432Epoch 496/1000329s 657ms/step - loss: 0.1808 - acc: 0.9887 - val_loss: 0.3443 - val_acc: 0.9438Epoch 497/1000329s 658ms/step - loss: 0.1799 - acc: 0.9889 - val_loss: 0.3482 - val_acc: 0.9425Epoch 498/1000328s 657ms/step - loss: 0.1801 - acc: 0.9887 - val_loss: 0.3591 - val_acc: 0.9406Epoch 499/1000328s 657ms/step - loss: 0.1827 - acc: 0.9883 - val_loss: 0.3431 - val_acc: 0.9422Epoch 500/1000328s 657ms/step - loss: 0.1813 - acc: 0.9881 - val_loss: 0.3502 - val_acc: 0.9406Epoch 501/1000328s 657ms/step - loss: 0.1807 - acc: 0.9886 - val_loss: 0.3563 - val_acc: 0.9396Epoch 502/1000328s 657ms/step - loss: 0.1795 - acc: 0.9894 - val_loss: 0.3465 - val_acc: 0.9424Epoch 503/1000329s 657ms/step - loss: 0.1805 - acc: 0.9890 - val_loss: 0.3411 - val_acc: 0.9447Epoch 504/1000328s 657ms/step - loss: 0.1803 - acc: 0.9886 - val_loss: 0.3550 - val_acc: 0.9397Epoch 505/1000329s 658ms/step - loss: 0.1812 - acc: 0.9885 - val_loss: 0.3505 - val_acc: 0.9412Epoch 506/1000328s 657ms/step - loss: 0.1800 - acc: 0.9887 - val_loss: 0.3428 - val_acc: 0.9425Epoch 507/1000329s 657ms/step - loss: 0.1795 - acc: 0.9892 - val_loss: 0.3355 - val_acc: 0.9464Epoch 508/1000328s 656ms/step - loss: 0.1800 - acc: 0.9884 - val_loss: 0.3405 - val_acc: 0.9436Epoch 509/1000328s 657ms/step - loss: 0.1769 - acc: 0.9894 - val_loss: 0.3639 - val_acc: 0.9405Epoch 510/1000328s 657ms/step - loss: 0.1812 - acc: 0.9879 - val_loss: 0.3464 - val_acc: 0.9416Epoch 511/1000328s 656ms/step - loss: 0.1779 - acc: 0.9895 - val_loss: 0.3640 - val_acc: 0.9394Epoch 512/1000328s 657ms/step - loss: 0.1776 - acc: 0.9893 - val_loss: 0.3481 - val_acc: 0.9425Epoch 513/1000328s 657ms/step - loss: 0.1808 - acc: 0.9887 - val_loss: 0.3457 - val_acc: 0.9437Epoch 514/1000328s 657ms/step - loss: 0.1797 - acc: 0.9885 - val_loss: 0.3498 - val_acc: 0.9413Epoch 515/1000328s 657ms/step - loss: 0.1746 - acc: 0.9908 - val_loss: 0.3429 - val_acc: 0.9462Epoch 516/1000328s 656ms/step - loss: 0.1783 - acc: 0.9892 - val_loss: 0.3475 - val_acc: 0.9426Epoch 517/1000330s 660ms/step - loss: 0.1804 - acc: 0.9884 - val_loss: 0.3390 - val_acc: 0.9447Epoch 518/1000329s 658ms/step - loss: 0.1814 - acc: 0.9877 - val_loss: 0.3589 - val_acc: 0.9405Epoch 519/1000329s 658ms/step - loss: 0.1795 - acc: 0.9892 - val_loss: 0.3434 - val_acc: 0.9431Epoch 520/1000329s 658ms/step - loss: 0.1765 - acc: 0.9903 - val_loss: 0.3614 - val_acc: 0.9398Epoch 521/1000329s 658ms/step - loss: 0.1827 - acc: 0.9875 - val_loss: 0.3328 - val_acc: 0.9441Epoch 522/1000329s 658ms/step - loss: 0.1779 - acc: 0.9894 - val_loss: 0.3509 - val_acc: 0.9400Epoch 523/1000329s 658ms/step - loss: 0.1762 - acc: 0.9899 - val_loss: 0.3604 - val_acc: 0.9393Epoch 524/1000329s 658ms/step - loss: 0.1798 - acc: 0.9887 - val_loss: 0.3454 - val_acc: 0.9432Epoch 525/1000329s 658ms/step - loss: 0.1766 - acc: 0.9900 - val_loss: 0.3524 - val_acc: 0.9412Epoch 526/1000332s 663ms/step - loss: 0.1797 - acc: 0.9879 - val_loss: 0.3484 - val_acc: 0.9423Epoch 527/1000329s 658ms/step - loss: 0.1815 - acc: 0.9882 - val_loss: 0.3347 - val_acc: 0.9457Epoch 528/1000328s 657ms/step - loss: 0.1790 - acc: 0.9887 - val_loss: 0.3603 - val_acc: 0.9409Epoch 529/1000329s 659ms/step - loss: 0.1765 - acc: 0.9894 - val_loss: 0.3525 - val_acc: 0.9425Epoch 530/1000329s 659ms/step - loss: 0.1784 - acc: 0.9887 - val_loss: 0.3437 - val_acc: 0.9456Epoch 531/1000329s 658ms/step - loss: 0.1782 - acc: 0.9891 - val_loss: 0.3416 - val_acc: 0.9449Epoch 532/1000329s 659ms/step - loss: 0.1787 - acc: 0.9891 - val_loss: 0.3309 - val_acc: 0.9475Epoch 533/1000330s 659ms/step - loss: 0.1778 - acc: 0.9896 - val_loss: 0.3534 - val_acc: 0.9402Epoch 534/1000331s 663ms/step - loss: 0.1764 - acc: 0.9897 - val_loss: 0.3421 - val_acc: 0.9428Epoch 535/1000331s 662ms/step - loss: 0.1766 - acc: 0.9896 - val_loss: 0.3353 - val_acc: 0.9431Epoch 536/1000329s 658ms/step - loss: 0.1809 - acc: 0.9875 - val_loss: 0.3330 - val_acc: 0.9452Epoch 537/1000329s 658ms/step - loss: 0.1782 - acc: 0.9891 - val_loss: 0.3537 - val_acc: 0.9412Epoch 538/1000329s 658ms/step - loss: 0.1774 - acc: 0.9889 - val_loss: 0.3371 - val_acc: 0.9459Epoch 539/1000329s 658ms/step - loss: 0.1795 - acc: 0.9880 - val_loss: 0.3404 - val_acc: 0.9450Epoch 540/1000329s 658ms/step - loss: 0.1783 - acc: 0.9890 - val_loss: 0.3391 - val_acc: 0.9434Epoch 541/1000329s 658ms/step - loss: 0.1813 - acc: 0.9876 - val_loss: 0.3570 - val_acc: 0.9411Epoch 542/1000329s 658ms/step - loss: 0.1777 - acc: 0.9889 - val_loss: 0.3529 - val_acc: 0.9382Epoch 543/1000329s 658ms/step - loss: 0.1794 - acc: 0.9890 - val_loss: 0.3580 - val_acc: 0.9393Epoch 544/1000329s 659ms/step - loss: 0.1737 - acc: 0.9909 - val_loss: 0.3399 - val_acc: 0.9444Epoch 545/1000329s 658ms/step - loss: 0.1764 - acc: 0.9902 - val_loss: 0.3457 - val_acc: 0.9444Epoch 546/1000329s 658ms/step - loss: 0.1752 - acc: 0.9898 - val_loss: 0.3448 - val_acc: 0.9447Epoch 547/1000329s 658ms/step - loss: 0.1772 - acc: 0.9886 - val_loss: 0.3508 - val_acc: 0.9405Epoch 548/1000329s 658ms/step - loss: 0.1811 - acc: 0.9877 - val_loss: 0.3537 - val_acc: 0.9409Epoch 549/1000329s 658ms/step - loss: 0.1790 - acc: 0.9890 - val_loss: 0.3448 - val_acc: 0.9439Epoch 550/1000328s 657ms/step - loss: 0.1798 - acc: 0.9886 - val_loss: 0.3388 - val_acc: 0.9427Epoch 551/1000329s 658ms/step - loss: 0.1814 - acc: 0.9878 - val_loss: 0.3373 - val_acc: 0.9446Epoch 552/1000329s 658ms/step - loss: 0.1785 - acc: 0.9886 - val_loss: 0.3527 - val_acc: 0.9397Epoch 553/1000329s 658ms/step - loss: 0.1805 - acc: 0.9882 - val_loss: 0.3534 - val_acc: 0.9412Epoch 554/1000329s 658ms/step - loss: 0.1796 - acc: 0.9881 - val_loss: 0.3445 - val_acc: 0.9420Epoch 555/1000329s 658ms/step - loss: 0.1777 - acc: 0.9895 - val_loss: 0.3350 - val_acc: 0.9468Epoch 556/1000329s 657ms/step - loss: 0.1765 - acc: 0.9895 - val_loss: 0.3468 - val_acc: 0.9417Epoch 557/1000329s 657ms/step - loss: 0.1793 - acc: 0.9886 - val_loss: 0.3513 - val_acc: 0.9400Epoch 558/1000329s 658ms/step - loss: 0.1754 - acc: 0.9896 - val_loss: 0.3661 - val_acc: 0.9386Epoch 559/1000329s 658ms/step - loss: 0.1775 - acc: 0.9892 - val_loss: 0.3534 - val_acc: 0.9420Epoch 560/1000329s 658ms/step - loss: 0.1785 - acc: 0.9891 - val_loss: 0.3369 - val_acc: 0.9423Epoch 561/1000328s 657ms/step - loss: 0.1787 - acc: 0.9884 - val_loss: 0.3476 - val_acc: 0.9403Epoch 562/1000328s 657ms/step - loss: 0.1773 - acc: 0.9895 - val_loss: 0.3449 - val_acc: 0.9410Epoch 563/1000328s 657ms/step - loss: 0.1735 - acc: 0.9908 - val_loss: 0.3369 - val_acc: 0.9442Epoch 564/1000329s 657ms/step - loss: 0.1751 - acc: 0.9897 - val_loss: 0.3415 - val_acc: 0.9443Epoch 565/1000329s 657ms/step - loss: 0.1750 - acc: 0.9893 - val_loss: 0.3506 - val_acc: 0.9412Epoch 566/1000329s 657ms/step - loss: 0.1783 - acc: 0.9886 - val_loss: 0.3459 - val_acc: 0.9419Epoch 567/1000329s 657ms/step - loss: 0.1771 - acc: 0.9888 - val_loss: 0.3560 - val_acc: 0.9405Epoch 568/1000329s 657ms/step - loss: 0.1795 - acc: 0.9882 - val_loss: 0.3467 - val_acc: 0.9446Epoch 569/1000329s 657ms/step - loss: 0.1797 - acc: 0.9882 - val_loss: 0.3252 - val_acc: 0.9485Epoch 570/1000329s 657ms/step - loss: 0.1753 - acc: 0.9897 - val_loss: 0.3488 - val_acc: 0.9433Epoch 571/1000328s 657ms/step - loss: 0.1787 - acc: 0.9885 - val_loss: 0.3395 - val_acc: 0.9437Epoch 572/1000329s 657ms/step - loss: 0.1804 - acc: 0.9883 - val_loss: 0.3366 - val_acc: 0.9437Epoch 573/1000329s 658ms/step - loss: 0.1756 - acc: 0.9898 - val_loss: 0.3479 - val_acc: 0.9451Epoch 574/1000329s 658ms/step - loss: 0.1776 - acc: 0.9886 - val_loss: 0.3471 - val_acc: 0.9424Epoch 575/1000329s 658ms/step - loss: 0.1791 - acc: 0.9888 - val_loss: 0.3404 - val_acc: 0.9465Epoch 576/1000329s 657ms/step - loss: 0.1785 - acc: 0.9893 - val_loss: 0.3567 - val_acc: 0.9396Epoch 577/1000329s 658ms/step - loss: 0.1779 - acc: 0.9889 - val_loss: 0.3452 - val_acc: 0.9418Epoch 578/1000329s 657ms/step - loss: 0.1758 - acc: 0.9896 - val_loss: 0.3450 - val_acc: 0.9440Epoch 579/1000329s 657ms/step - loss: 0.1775 - acc: 0.9887 - val_loss: 0.3361 - val_acc: 0.9458Epoch 580/1000329s 658ms/step - loss: 0.1750 - acc: 0.9899 - val_loss: 0.3418 - val_acc: 0.9479Epoch 581/1000329s 658ms/step - loss: 0.1721 - acc: 0.9912 - val_loss: 0.3549 - val_acc: 0.9425Epoch 582/1000329s 657ms/step - loss: 0.1765 - acc: 0.9894 - val_loss: 0.3358 - val_acc: 0.9446Epoch 583/1000329s 658ms/step - loss: 0.1760 - acc: 0.9897 - val_loss: 0.3409 - val_acc: 0.9451Epoch 584/1000329s 658ms/step - loss: 0.1755 - acc: 0.9893 - val_loss: 0.3453 - val_acc: 0.9425Epoch 585/1000329s 658ms/step - loss: 0.1788 - acc: 0.9884 - val_loss: 0.3428 - val_acc: 0.9421Epoch 586/1000329s 658ms/step - loss: 0.1772 - acc: 0.9885 - val_loss: 0.3503 - val_acc: 0.9408Epoch 587/1000329s 657ms/step - loss: 0.1774 - acc: 0.9885 - val_loss: 0.3441 - val_acc: 0.9444Epoch 588/1000329s 657ms/step - loss: 0.1730 - acc: 0.9909 - val_loss: 0.3379 - val_acc: 0.9461Epoch 589/1000329s 658ms/step - loss: 0.1787 - acc: 0.9879 - val_loss: 0.3538 - val_acc: 0.9408Epoch 590/1000329s 658ms/step - loss: 0.1769 - acc: 0.9891 - val_loss: 0.3490 - val_acc: 0.9435Epoch 591/1000329s 658ms/step - loss: 0.1751 - acc: 0.9898 - val_loss: 0.3517 - val_acc: 0.9405Epoch 592/1000329s 658ms/step - loss: 0.1757 - acc: 0.9897 - val_loss: 0.3406 - val_acc: 0.9428Epoch 593/1000329s 658ms/step - loss: 0.1771 - acc: 0.9891 - val_loss: 0.3388 - val_acc: 0.9441Epoch 594/1000329s 658ms/step - loss: 0.1757 - acc: 0.9898 - val_loss: 0.3501 - val_acc: 0.9415Epoch 595/1000329s 657ms/step - loss: 0.1755 - acc: 0.9896 - val_loss: 0.3473 - val_acc: 0.9416Epoch 596/1000329s 658ms/step - loss: 0.1728 - acc: 0.9901 - val_loss: 0.3366 - val_acc: 0.9443Epoch 597/1000329s 657ms/step - loss: 0.1748 - acc: 0.9896 - val_loss: 0.3571 - val_acc: 0.9413Epoch 598/1000329s 658ms/step - loss: 0.1767 - acc: 0.9889 - val_loss: 0.3485 - val_acc: 0.9421Epoch 599/1000329s 658ms/step - loss: 0.1778 - acc: 0.9887 - val_loss: 0.3409 - val_acc: 0.9422Epoch 600/1000329s 658ms/step - loss: 0.1759 - acc: 0.9894 - val_loss: 0.3471 - val_acc: 0.9428Epoch 601/1000lr changed to 0.0009999999776482583329s 657ms/step - loss: 0.1637 - acc: 0.9939 - val_loss: 0.3166 - val_acc: 0.9501Epoch 602/1000329s 657ms/step - loss: 0.1559 - acc: 0.9966 - val_loss: 0.3119 - val_acc: 0.9506Epoch 603/1000329s 657ms/step - loss: 0.1527 - acc: 0.9974 - val_loss: 0.3101 - val_acc: 0.9506Epoch 604/1000329s 658ms/step - loss: 0.1519 - acc: 0.9974 - val_loss: 0.3096 - val_acc: 0.9528Epoch 605/1000329s 658ms/step - loss: 0.1508 - acc: 0.9977 - val_loss: 0.3065 - val_acc: 0.9534Epoch 606/1000329s 658ms/step - loss: 0.1498 - acc: 0.9977 - val_loss: 0.3029 - val_acc: 0.9537Epoch 607/1000329s 657ms/step - loss: 0.1486 - acc: 0.9983 - val_loss: 0.3023 - val_acc: 0.9550Epoch 608/1000329s 658ms/step - loss: 0.1479 - acc: 0.9984 - val_loss: 0.3038 - val_acc: 0.9547Epoch 609/1000329s 658ms/step - loss: 0.1481 - acc: 0.9982 - val_loss: 0.3042 - val_acc: 0.9552Epoch 610/1000329s 658ms/step - loss: 0.1477 - acc: 0.9984 - val_loss: 0.3046 - val_acc: 0.9551Epoch 611/1000329s 658ms/step - loss: 0.1469 - acc: 0.9985 - val_loss: 0.3042 - val_acc: 0.9545Epoch 612/1000329s 657ms/step - loss: 0.1466 - acc: 0.9984 - val_loss: 0.3041 - val_acc: 0.9544Epoch 613/1000329s 658ms/step - loss: 0.1461 - acc: 0.9983 - val_loss: 0.3028 - val_acc: 0.9550Epoch 614/1000329s 658ms/step - loss: 0.1454 - acc: 0.9988 - val_loss: 0.3013 - val_acc: 0.9547Epoch 615/1000329s 657ms/step - loss: 0.1443 - acc: 0.9989 - val_loss: 0.3034 - val_acc: 0.9545Epoch 616/1000329s 657ms/step - loss: 0.1449 - acc: 0.9985 - val_loss: 0.3020 - val_acc: 0.9547Epoch 617/1000329s 658ms/step - loss: 0.1442 - acc: 0.9989 - val_loss: 0.3005 - val_acc: 0.9547Epoch 618/1000329s 658ms/step - loss: 0.1442 - acc: 0.9987 - val_loss: 0.3007 - val_acc: 0.9550Epoch 619/1000329s 657ms/step - loss: 0.1433 - acc: 0.9990 - val_loss: 0.3015 - val_acc: 0.9558Epoch 620/1000329s 658ms/step - loss: 0.1436 - acc: 0.9990 - val_loss: 0.3018 - val_acc: 0.9557Epoch 621/1000329s 658ms/step - loss: 0.1430 - acc: 0.9990 - val_loss: 0.3001 - val_acc: 0.9552Epoch 622/1000329s 657ms/step - loss: 0.1427 - acc: 0.9990 - val_loss: 0.2994 - val_acc: 0.9552Epoch 623/1000329s 658ms/step - loss: 0.1423 - acc: 0.9989 - val_loss: 0.2989 - val_acc: 0.9548Epoch 624/1000329s 658ms/step - loss: 0.1419 - acc: 0.9991 - val_loss: 0.2995 - val_acc: 0.9553Epoch 625/1000329s 658ms/step - loss: 0.1414 - acc: 0.9990 - val_loss: 0.3002 - val_acc: 0.9558Epoch 626/1000329s 657ms/step - loss: 0.1413 - acc: 0.9990 - val_loss: 0.3006 - val_acc: 0.9551Epoch 627/1000329s 657ms/step - loss: 0.1409 - acc: 0.9991 - val_loss: 0.2997 - val_acc: 0.9548Epoch 628/1000329s 657ms/step - loss: 0.1405 - acc: 0.9993 - val_loss: 0.3015 - val_acc: 0.9542Epoch 629/1000329s 657ms/step - loss: 0.1409 - acc: 0.9988 - val_loss: 0.3005 - val_acc: 0.9548Epoch 630/1000329s 658ms/step - loss: 0.1404 - acc: 0.9989 - val_loss: 0.3032 - val_acc: 0.9534Epoch 631/1000329s 658ms/step - loss: 0.1400 - acc: 0.9991 - val_loss: 0.3029 - val_acc: 0.9541Epoch 632/1000329s 658ms/step - loss: 0.1391 - acc: 0.9993 - val_loss: 0.3021 - val_acc: 0.9540Epoch 633/1000329s 658ms/step - loss: 0.1392 - acc: 0.9991 - val_loss: 0.3025 - val_acc: 0.9535Epoch 634/1000329s 657ms/step - loss: 0.1388 - acc: 0.9992 - val_loss: 0.3026 - val_acc: 0.9539Epoch 635/1000329s 658ms/step - loss: 0.1386 - acc: 0.9993 - val_loss: 0.3009 - val_acc: 0.9538Epoch 636/1000329s 658ms/step - loss: 0.1379 - acc: 0.9993 - val_loss: 0.3001 - val_acc: 0.9541Epoch 637/1000329s 658ms/step - loss: 0.1376 - acc: 0.9994 - val_loss: 0.3000 - val_acc: 0.9550Epoch 638/1000329s 657ms/step - loss: 0.1378 - acc: 0.9993 - val_loss: 0.2977 - val_acc: 0.9559Epoch 639/1000329s 658ms/step - loss: 0.1373 - acc: 0.9992 - val_loss: 0.2993 - val_acc: 0.9539Epoch 640/1000329s 658ms/step - loss: 0.1371 - acc: 0.9993 - val_loss: 0.2996 - val_acc: 0.9543Epoch 641/1000329s 658ms/step - loss: 0.1365 - acc: 0.9994 - val_loss: 0.3008 - val_acc: 0.9544Epoch 642/1000329s 658ms/step - loss: 0.1367 - acc: 0.9992 - val_loss: 0.3000 - val_acc: 0.9538Epoch 643/1000329s 658ms/step - loss: 0.1366 - acc: 0.9991 - val_loss: 0.2985 - val_acc: 0.9546Epoch 644/1000329s 657ms/step - loss: 0.1361 - acc: 0.9993 - val_loss: 0.2990 - val_acc: 0.9545Epoch 645/1000328s 657ms/step - loss: 0.1353 - acc: 0.9995 - val_loss: 0.2967 - val_acc: 0.9547Epoch 646/1000329s 658ms/step - loss: 0.1351 - acc: 0.9995 - val_loss: 0.2974 - val_acc: 0.9554Epoch 647/1000329s 658ms/step - loss: 0.1351 - acc: 0.9994 - val_loss: 0.2973 - val_acc: 0.9557Epoch 648/1000329s 658ms/step - loss: 0.1350 - acc: 0.9993 - val_loss: 0.2983 - val_acc: 0.9545Epoch 649/1000329s 658ms/step - loss: 0.1348 - acc: 0.9993 - val_loss: 0.2975 - val_acc: 0.9544Epoch 650/1000329s 658ms/step - loss: 0.1351 - acc: 0.9991 - val_loss: 0.2971 - val_acc: 0.9549Epoch 651/1000329s 658ms/step - loss: 0.1341 - acc: 0.9994 - val_loss: 0.2958 - val_acc: 0.9550Epoch 652/1000328s 657ms/step - loss: 0.1340 - acc: 0.9993 - val_loss: 0.2949 - val_acc: 0.9552Epoch 653/1000328s 657ms/step - loss: 0.1338 - acc: 0.9993 - val_loss: 0.2932 - val_acc: 0.9557Epoch 654/1000329s 657ms/step - loss: 0.1336 - acc: 0.9993 - val_loss: 0.2930 - val_acc: 0.9563Epoch 655/1000329s 657ms/step - loss: 0.1335 - acc: 0.9994 - val_loss: 0.2928 - val_acc: 0.9558Epoch 656/1000329s 657ms/step - loss: 0.1335 - acc: 0.9993 - val_loss: 0.2947 - val_acc: 0.9556Epoch 657/1000329s 658ms/step - loss: 0.1325 - acc: 0.9995 - val_loss: 0.2945 - val_acc: 0.9554Epoch 658/1000329s 658ms/step - loss: 0.1327 - acc: 0.9994 - val_loss: 0.2933 - val_acc: 0.9548Epoch 659/1000329s 658ms/step - loss: 0.1324 - acc: 0.9994 - val_loss: 0.2931 - val_acc: 0.9546Epoch 660/1000328s 657ms/step - loss: 0.1320 - acc: 0.9995 - val_loss: 0.2945 - val_acc: 0.9548Epoch 661/1000329s 657ms/step - loss: 0.1319 - acc: 0.9994 - val_loss: 0.2935 - val_acc: 0.9554Epoch 662/1000329s 657ms/step - loss: 0.1312 - acc: 0.9996 - val_loss: 0.2925 - val_acc: 0.9548Epoch 663/1000329s 658ms/step - loss: 0.1314 - acc: 0.9994 - val_loss: 0.2906 - val_acc: 0.9554Epoch 664/1000329s 657ms/step - loss: 0.1308 - acc: 0.9995 - val_loss: 0.2893 - val_acc: 0.9561Epoch 665/1000329s 657ms/step - loss: 0.1310 - acc: 0.9994 - val_loss: 0.2891 - val_acc: 0.9557Epoch 666/1000329s 657ms/step - loss: 0.1310 - acc: 0.9993 - val_loss: 0.2890 - val_acc: 0.9565Epoch 667/1000329s 658ms/step - loss: 0.1304 - acc: 0.9994 - val_loss: 0.2878 - val_acc: 0.9566Epoch 668/1000329s 657ms/step - loss: 0.1299 - acc: 0.9997 - val_loss: 0.2877 - val_acc: 0.9574Epoch 669/1000329s 658ms/step - loss: 0.1300 - acc: 0.9994 - val_loss: 0.2879 - val_acc: 0.9572Epoch 670/1000329s 657ms/step - loss: 0.1299 - acc: 0.9994 - val_loss: 0.2908 - val_acc: 0.9566Epoch 671/1000329s 659ms/step - loss: 0.1292 - acc: 0.9996 - val_loss: 0.2896 - val_acc: 0.9566Epoch 672/1000329s 658ms/step - loss: 0.1290 - acc: 0.9996 - val_loss: 0.2906 - val_acc: 0.9563Epoch 673/1000329s 657ms/step - loss: 0.1291 - acc: 0.9993 - val_loss: 0.2903 - val_acc: 0.9565Epoch 674/1000328s 656ms/step - loss: 0.1291 - acc: 0.9994 - val_loss: 0.2915 - val_acc: 0.9555Epoch 675/1000328s 657ms/step - loss: 0.1288 - acc: 0.9993 - val_loss: 0.2891 - val_acc: 0.9560Epoch 676/1000328s 657ms/step - loss: 0.1284 - acc: 0.9994 - val_loss: 0.2905 - val_acc: 0.9568Epoch 677/1000328s 657ms/step - loss: 0.1280 - acc: 0.9995 - val_loss: 0.2906 - val_acc: 0.9556Epoch 678/1000328s 657ms/step - loss: 0.1285 - acc: 0.9992 - val_loss: 0.2888 - val_acc: 0.9564Epoch 679/1000329s 657ms/step - loss: 0.1277 - acc: 0.9994 - val_loss: 0.2888 - val_acc: 0.9563Epoch 680/1000329s 657ms/step - loss: 0.1277 - acc: 0.9993 - val_loss: 0.2892 - val_acc: 0.9567Epoch 681/1000329s 658ms/step - loss: 0.1270 - acc: 0.9995 - val_loss: 0.2895 - val_acc: 0.9560Epoch 682/1000329s 658ms/step - loss: 0.1272 - acc: 0.9994 - val_loss: 0.2896 - val_acc: 0.9556Epoch 683/1000329s 657ms/step - loss: 0.1271 - acc: 0.9993 - val_loss: 0.2897 - val_acc: 0.9567Epoch 684/1000329s 657ms/step - loss: 0.1265 - acc: 0.9996 - val_loss: 0.2896 - val_acc: 0.9561Epoch 685/1000329s 657ms/step - loss: 0.1259 - acc: 0.9996 - val_loss: 0.2898 - val_acc: 0.9554Epoch 686/1000329s 657ms/step - loss: 0.1263 - acc: 0.9994 - val_loss: 0.2907 - val_acc: 0.9557Epoch 687/1000328s 657ms/step - loss: 0.1260 - acc: 0.9993 - val_loss: 0.2909 - val_acc: 0.9553Epoch 688/1000328s 657ms/step - loss: 0.1255 - acc: 0.9995 - val_loss: 0.2908 - val_acc: 0.9552Epoch 689/1000329s 657ms/step - loss: 0.1253 - acc: 0.9995 - val_loss: 0.2896 - val_acc: 0.9553Epoch 690/1000328s 657ms/step - loss: 0.1252 - acc: 0.9995 - val_loss: 0.2880 - val_acc: 0.9563Epoch 691/1000328s 657ms/step - loss: 0.1248 - acc: 0.9996 - val_loss: 0.2893 - val_acc: 0.9558Epoch 692/1000329s 658ms/step - loss: 0.1248 - acc: 0.9994 - val_loss: 0.2896 - val_acc: 0.9553Epoch 693/1000329s 657ms/step - loss: 0.1244 - acc: 0.9996 - val_loss: 0.2877 - val_acc: 0.9559Epoch 694/1000329s 658ms/step - loss: 0.1244 - acc: 0.9994 - val_loss: 0.2862 - val_acc: 0.9556Epoch 695/1000329s 658ms/step - loss: 0.1242 - acc: 0.9994 - val_loss: 0.2864 - val_acc: 0.9560Epoch 696/1000329s 657ms/step - loss: 0.1240 - acc: 0.9994 - val_loss: 0.2875 - val_acc: 0.9558Epoch 697/1000329s 658ms/step - loss: 0.1236 - acc: 0.9995 - val_loss: 0.2869 - val_acc: 0.9556Epoch 698/1000329s 658ms/step - loss: 0.1236 - acc: 0.9995 - val_loss: 0.2862 - val_acc: 0.9556Epoch 699/1000329s 657ms/step - loss: 0.1232 - acc: 0.9995 - val_loss: 0.2856 - val_acc: 0.9562Epoch 700/1000329s 657ms/step - loss: 0.1228 - acc: 0.9996 - val_loss: 0.2848 - val_acc: 0.9554Epoch 701/1000329s 657ms/step - loss: 0.1226 - acc: 0.9996 - val_loss: 0.2845 - val_acc: 0.9549Epoch 702/1000329s 658ms/step - loss: 0.1225 - acc: 0.9994 - val_loss: 0.2841 - val_acc: 0.9560Epoch 703/1000329s 658ms/step - loss: 0.1224 - acc: 0.9995 - val_loss: 0.2826 - val_acc: 0.9567Epoch 704/1000329s 658ms/step - loss: 0.1223 - acc: 0.9994 - val_loss: 0.2838 - val_acc: 0.9568Epoch 705/1000329s 658ms/step - loss: 0.1224 - acc: 0.9994 - val_loss: 0.2816 - val_acc: 0.9559Epoch 706/1000329s 657ms/step - loss: 0.1219 - acc: 0.9995 - val_loss: 0.2814 - val_acc: 0.9557Epoch 707/1000329s 657ms/step - loss: 0.1215 - acc: 0.9996 - val_loss: 0.2818 - val_acc: 0.9551Epoch 708/1000329s 657ms/step - loss: 0.1210 - acc: 0.9997 - val_loss: 0.2811 - val_acc: 0.9559Epoch 709/1000329s 658ms/step - loss: 0.1213 - acc: 0.9995 - val_loss: 0.2804 - val_acc: 0.9565Epoch 710/1000329s 658ms/step - loss: 0.1208 - acc: 0.9996 - val_loss: 0.2788 - val_acc: 0.9568Epoch 711/1000329s 658ms/step - loss: 0.1208 - acc: 0.9995 - val_loss: 0.2778 - val_acc: 0.9569Epoch 712/1000329s 658ms/step - loss: 0.1203 - acc: 0.9997 - val_loss: 0.2785 - val_acc: 0.9571Epoch 713/1000329s 658ms/step - loss: 0.1202 - acc: 0.9996 - val_loss: 0.2790 - val_acc: 0.9566Epoch 714/1000329s 658ms/step - loss: 0.1197 - acc: 0.9997 - val_loss: 0.2774 - val_acc: 0.9564Epoch 715/1000329s 657ms/step - loss: 0.1195 - acc: 0.9997 - val_loss: 0.2775 - val_acc: 0.9568Epoch 716/1000329s 657ms/step - loss: 0.1198 - acc: 0.9995 - val_loss: 0.2802 - val_acc: 0.9565Epoch 717/1000329s 658ms/step - loss: 0.1195 - acc: 0.9995 - val_loss: 0.2815 - val_acc: 0.9557Epoch 718/1000329s 658ms/step - loss: 0.1196 - acc: 0.9994 - val_loss: 0.2803 - val_acc: 0.9566Epoch 719/1000329s 659ms/step - loss: 0.1189 - acc: 0.9997 - val_loss: 0.2806 - val_acc: 0.9563Epoch 720/1000329s 658ms/step - loss: 0.1191 - acc: 0.9993 - val_loss: 0.2808 - val_acc: 0.9567Epoch 721/1000329s 658ms/step - loss: 0.1184 - acc: 0.9997 - val_loss: 0.2812 - val_acc: 0.9563Epoch 722/1000329s 658ms/step - loss: 0.1184 - acc: 0.9996 - val_loss: 0.2791 - val_acc: 0.9564Epoch 723/1000329s 657ms/step - loss: 0.1181 - acc: 0.9996 - val_loss: 0.2800 - val_acc: 0.9570Epoch 724/1000329s 658ms/step - loss: 0.1184 - acc: 0.9995 - val_loss: 0.2816 - val_acc: 0.9568Epoch 725/1000329s 657ms/step - loss: 0.1181 - acc: 0.9995 - val_loss: 0.2802 - val_acc: 0.9567Epoch 726/1000329s 657ms/step - loss: 0.1177 - acc: 0.9997 - val_loss: 0.2806 - val_acc: 0.9564Epoch 727/1000329s 658ms/step - loss: 0.1178 - acc: 0.9995 - val_loss: 0.2816 - val_acc: 0.9568Epoch 728/1000329s 657ms/step - loss: 0.1172 - acc: 0.9996 - val_loss: 0.2806 - val_acc: 0.9574Epoch 729/1000329s 658ms/step - loss: 0.1173 - acc: 0.9995 - val_loss: 0.2821 - val_acc: 0.9560Epoch 730/1000329s 658ms/step - loss: 0.1170 - acc: 0.9996 - val_loss: 0.2831 - val_acc: 0.9553Epoch 731/1000329s 658ms/step - loss: 0.1169 - acc: 0.9995 - val_loss: 0.2847 - val_acc: 0.9556Epoch 732/1000329s 658ms/step - loss: 0.1170 - acc: 0.9995 - val_loss: 0.2792 - val_acc: 0.9575Epoch 733/1000329s 658ms/step - loss: 0.1168 - acc: 0.9994 - val_loss: 0.2815 - val_acc: 0.9562Epoch 734/1000329s 658ms/step - loss: 0.1161 - acc: 0.9997 - val_loss: 0.2790 - val_acc: 0.9573Epoch 735/1000329s 658ms/step - loss: 0.1158 - acc: 0.9997 - val_loss: 0.2783 - val_acc: 0.9571Epoch 736/1000329s 658ms/step - loss: 0.1160 - acc: 0.9995 - val_loss: 0.2818 - val_acc: 0.9562Epoch 737/1000329s 658ms/step - loss: 0.1156 - acc: 0.9996 - val_loss: 0.2804 - val_acc: 0.9559Epoch 738/1000329s 658ms/step - loss: 0.1156 - acc: 0.9995 - val_loss: 0.2802 - val_acc: 0.9559Epoch 739/1000329s 658ms/step - loss: 0.1151 - acc: 0.9996 - val_loss: 0.2791 - val_acc: 0.9561Epoch 740/1000329s 657ms/step - loss: 0.1148 - acc: 0.9997 - val_loss: 0.2779 - val_acc: 0.9557Epoch 741/1000329s 658ms/step - loss: 0.1147 - acc: 0.9995 - val_loss: 0.2785 - val_acc: 0.9564Epoch 742/1000329s 658ms/step - loss: 0.1147 - acc: 0.9996 - val_loss: 0.2787 - val_acc: 0.9552Epoch 743/1000329s 658ms/step - loss: 0.1147 - acc: 0.9994 - val_loss: 0.2773 - val_acc: 0.9563Epoch 744/1000329s 658ms/step - loss: 0.1147 - acc: 0.9995 - val_loss: 0.2782 - val_acc: 0.9566Epoch 745/1000329s 658ms/step - loss: 0.1142 - acc: 0.9995 - val_loss: 0.2765 - val_acc: 0.9554Epoch 746/1000329s 657ms/step - loss: 0.1141 - acc: 0.9996 - val_loss: 0.2764 - val_acc: 0.9565Epoch 747/1000329s 658ms/step - loss: 0.1137 - acc: 0.9997 - val_loss: 0.2785 - val_acc: 0.9564Epoch 748/1000329s 658ms/step - loss: 0.1137 - acc: 0.9995 - val_loss: 0.2802 - val_acc: 0.9564Epoch 749/1000329s 658ms/step - loss: 0.1137 - acc: 0.9996 - val_loss: 0.2761 - val_acc: 0.9569Epoch 750/1000329s 658ms/step - loss: 0.1138 - acc: 0.9994 - val_loss: 0.2772 - val_acc: 0.9561Epoch 751/1000329s 658ms/step - loss: 0.1136 - acc: 0.9994 - val_loss: 0.2821 - val_acc: 0.9544Epoch 752/1000329s 658ms/step - loss: 0.1129 - acc: 0.9996 - val_loss: 0.2808 - val_acc: 0.9536Epoch 753/1000329s 659ms/step - loss: 0.1128 - acc: 0.9995 - val_loss: 0.2798 - val_acc: 0.9545Epoch 754/1000329s 658ms/step - loss: 0.1127 - acc: 0.9996 - val_loss: 0.2794 - val_acc: 0.9553Epoch 755/1000329s 658ms/step - loss: 0.1125 - acc: 0.9995 - val_loss: 0.2773 - val_acc: 0.9554Epoch 756/1000329s 659ms/step - loss: 0.1121 - acc: 0.9997 - val_loss: 0.2763 - val_acc: 0.9554Epoch 757/1000329s 658ms/step - loss: 0.1121 - acc: 0.9996 - val_loss: 0.2760 - val_acc: 0.9553Epoch 758/1000329s 658ms/step - loss: 0.1116 - acc: 0.9997 - val_loss: 0.2763 - val_acc: 0.9558Epoch 759/1000329s 658ms/step - loss: 0.1118 - acc: 0.9995 - val_loss: 0.2775 - val_acc: 0.9568Epoch 760/1000329s 658ms/step - loss: 0.1117 - acc: 0.9994 - val_loss: 0.2758 - val_acc: 0.9568Epoch 761/1000329s 659ms/step - loss: 0.1113 - acc: 0.9996 - val_loss: 0.2747 - val_acc: 0.9564Epoch 762/1000329s 658ms/step - loss: 0.1110 - acc: 0.9997 - val_loss: 0.2759 - val_acc: 0.9555Epoch 763/1000329s 658ms/step - loss: 0.1109 - acc: 0.9996 - val_loss: 0.2771 - val_acc: 0.9558Epoch 764/1000329s 658ms/step - loss: 0.1106 - acc: 0.9997 - val_loss: 0.2739 - val_acc: 0.9560Epoch 765/1000329s 658ms/step - loss: 0.1108 - acc: 0.9995 - val_loss: 0.2762 - val_acc: 0.9559Epoch 766/1000329s 658ms/step - loss: 0.1102 - acc: 0.9997 - val_loss: 0.2748 - val_acc: 0.9564Epoch 767/1000329s 657ms/step - loss: 0.1104 - acc: 0.9995 - val_loss: 0.2744 - val_acc: 0.9555Epoch 768/1000329s 658ms/step - loss: 0.1102 - acc: 0.9995 - val_loss: 0.2733 - val_acc: 0.9559Epoch 769/1000329s 659ms/step - loss: 0.1098 - acc: 0.9995 - val_loss: 0.2733 - val_acc: 0.9573Epoch 770/1000329s 659ms/step - loss: 0.1096 - acc: 0.9996 - val_loss: 0.2765 - val_acc: 0.9556Epoch 771/1000329s 658ms/step - loss: 0.1098 - acc: 0.9996 - val_loss: 0.2741 - val_acc: 0.9572Epoch 772/1000329s 658ms/step - loss: 0.1091 - acc: 0.9997 - val_loss: 0.2746 - val_acc: 0.9566Epoch 773/1000327s 655ms/step - loss: 0.1094 - acc: 0.9995 - val_loss: 0.2741 - val_acc: 0.9571Epoch 774/1000327s 654ms/step - loss: 0.1092 - acc: 0.9995 - val_loss: 0.2745 - val_acc: 0.9576Epoch 775/1000328s 655ms/step - loss: 0.1091 - acc: 0.9995 - val_loss: 0.2760 - val_acc: 0.9582Epoch 776/1000327s 655ms/step - loss: 0.1087 - acc: 0.9997 - val_loss: 0.2753 - val_acc: 0.9576Epoch 777/1000328s 655ms/step - loss: 0.1083 - acc: 0.9997 - val_loss: 0.2735 - val_acc: 0.9578Epoch 778/1000327s 654ms/step - loss: 0.1082 - acc: 0.9997 - val_loss: 0.2745 - val_acc: 0.9576Epoch 779/1000327s 654ms/step - loss: 0.1085 - acc: 0.9995 - val_loss: 0.2737 - val_acc: 0.9571Epoch 780/1000327s 654ms/step - loss: 0.1083 - acc: 0.9994 - val_loss: 0.2728 - val_acc: 0.9570Epoch 781/1000327s 654ms/step - loss: 0.1077 - acc: 0.9997 - val_loss: 0.2715 - val_acc: 0.9573Epoch 782/1000327s 654ms/step - loss: 0.1075 - acc: 0.9997 - val_loss: 0.2724 - val_acc: 0.9581Epoch 783/1000327s 654ms/step - loss: 0.1074 - acc: 0.9997 - val_loss: 0.2715 - val_acc: 0.9581Epoch 784/1000327s 654ms/step - loss: 0.1075 - acc: 0.9995 - val_loss: 0.2690 - val_acc: 0.9578Epoch 785/1000327s 654ms/step - loss: 0.1072 - acc: 0.9996 - val_loss: 0.2703 - val_acc: 0.9569Epoch 786/1000328s 656ms/step - loss: 0.1073 - acc: 0.9994 - val_loss: 0.2711 - val_acc: 0.9573Epoch 787/1000329s 657ms/step - loss: 0.1070 - acc: 0.9994 - val_loss: 0.2694 - val_acc: 0.9568Epoch 788/1000329s 657ms/step - loss: 0.1066 - acc: 0.9997 - val_loss: 0.2709 - val_acc: 0.9575Epoch 789/1000329s 657ms/step - loss: 0.1069 - acc: 0.9994 - val_loss: 0.2720 - val_acc: 0.9569Epoch 790/1000328s 655ms/step - loss: 0.1065 - acc: 0.9996 - val_loss: 0.2717 - val_acc: 0.9569Epoch 791/1000327s 654ms/step - loss: 0.1063 - acc: 0.9996 - val_loss: 0.2699 - val_acc: 0.9573Epoch 792/1000329s 657ms/step - loss: 0.1061 - acc: 0.9996 - val_loss: 0.2699 - val_acc: 0.9563Epoch 793/1000329s 657ms/step - loss: 0.1058 - acc: 0.9997 - val_loss: 0.2696 - val_acc: 0.9555Epoch 794/1000329s 657ms/step - loss: 0.1060 - acc: 0.9996 - val_loss: 0.2713 - val_acc: 0.9555Epoch 795/1000329s 658ms/step - loss: 0.1057 - acc: 0.9996 - val_loss: 0.2697 - val_acc: 0.9576Epoch 796/1000329s 658ms/step - loss: 0.1057 - acc: 0.9995 - val_loss: 0.2699 - val_acc: 0.9575Epoch 797/1000328s 656ms/step - loss: 0.1050 - acc: 0.9997 - val_loss: 0.2702 - val_acc: 0.9558Epoch 798/1000329s 658ms/step - loss: 0.1050 - acc: 0.9996 - val_loss: 0.2706 - val_acc: 0.9553Epoch 799/1000329s 658ms/step - loss: 0.1052 - acc: 0.9995 - val_loss: 0.2717 - val_acc: 0.9560Epoch 800/1000329s 657ms/step - loss: 0.1051 - acc: 0.9996 - val_loss: 0.2687 - val_acc: 0.9565Epoch 801/1000329s 657ms/step - loss: 0.1046 - acc: 0.9996 - val_loss: 0.2688 - val_acc: 0.9558Epoch 802/1000329s 657ms/step - loss: 0.1048 - acc: 0.9995 - val_loss: 0.2692 - val_acc: 0.9570Epoch 803/1000327s 655ms/step - loss: 0.1045 - acc: 0.9996 - val_loss: 0.2673 - val_acc: 0.9576Epoch 804/1000328s 656ms/step - loss: 0.1044 - acc: 0.9994 - val_loss: 0.2682 - val_acc: 0.9567Epoch 805/1000328s 655ms/step - loss: 0.1040 - acc: 0.9995 - val_loss: 0.2668 - val_acc: 0.9567Epoch 806/1000328s 655ms/step - loss: 0.1042 - acc: 0.9995 - val_loss: 0.2697 - val_acc: 0.9559Epoch 807/1000328s 655ms/step - loss: 0.1036 - acc: 0.9996 - val_loss: 0.2684 - val_acc: 0.9560Epoch 808/1000328s 655ms/step - loss: 0.1036 - acc: 0.9996 - val_loss: 0.2675 - val_acc: 0.9566Epoch 809/1000328s 656ms/step - loss: 0.1037 - acc: 0.9995 - val_loss: 0.2682 - val_acc: 0.9560Epoch 810/1000328s 656ms/step - loss: 0.1032 - acc: 0.9997 - val_loss: 0.2667 - val_acc: 0.9565Epoch 811/1000328s 655ms/step - loss: 0.1028 - acc: 0.9997 - val_loss: 0.2635 - val_acc: 0.9571Epoch 812/1000328s 656ms/step - loss: 0.1031 - acc: 0.9995 - val_loss: 0.2680 - val_acc: 0.9564Epoch 813/1000327s 655ms/step - loss: 0.1028 - acc: 0.9995 - val_loss: 0.2656 - val_acc: 0.9576Epoch 814/1000327s 655ms/step - loss: 0.1029 - acc: 0.9996 - val_loss: 0.2629 - val_acc: 0.9577Epoch 815/1000328s 656ms/step - loss: 0.1025 - acc: 0.9997 - val_loss: 0.2622 - val_acc: 0.9579Epoch 816/1000329s 658ms/step - loss: 0.1023 - acc: 0.9997 - val_loss: 0.2629 - val_acc: 0.9575Epoch 817/1000331s 661ms/step - loss: 0.1023 - acc: 0.9996 - val_loss: 0.2612 - val_acc: 0.9581Epoch 818/1000328s 656ms/step - loss: 0.1019 - acc: 0.9997 - val_loss: 0.2632 - val_acc: 0.9569Epoch 819/1000328s 657ms/step - loss: 0.1019 - acc: 0.9996 - val_loss: 0.2625 - val_acc: 0.9577Epoch 820/1000328s 656ms/step - loss: 0.1016 - acc: 0.9996 - val_loss: 0.2631 - val_acc: 0.9566Epoch 821/1000332s 665ms/step - loss: 0.1017 - acc: 0.9996 - val_loss: 0.2628 - val_acc: 0.9566Epoch 822/1000332s 664ms/step - loss: 0.1019 - acc: 0.9994 - val_loss: 0.2626 - val_acc: 0.9577Epoch 823/1000328s 656ms/step - loss: 0.1014 - acc: 0.9995 - val_loss: 0.2655 - val_acc: 0.9564Epoch 824/1000327s 654ms/step - loss: 0.1011 - acc: 0.9996 - val_loss: 0.2655 - val_acc: 0.9557Epoch 825/1000327s 654ms/step - loss: 0.1013 - acc: 0.9995 - val_loss: 0.2625 - val_acc: 0.9567Epoch 826/1000327s 654ms/step - loss: 0.1008 - acc: 0.9995 - val_loss: 0.2634 - val_acc: 0.9563Epoch 827/1000327s 654ms/step - loss: 0.1006 - acc: 0.9996 - val_loss: 0.2618 - val_acc: 0.9576Epoch 828/1000329s 658ms/step - loss: 0.1010 - acc: 0.9995 - val_loss: 0.2630 - val_acc: 0.9566Epoch 829/1000327s 654ms/step - loss: 0.1004 - acc: 0.9996 - val_loss: 0.2640 - val_acc: 0.9552Epoch 830/1000327s 653ms/step - loss: 0.1004 - acc: 0.9995 - val_loss: 0.2616 - val_acc: 0.9565Epoch 831/1000327s 654ms/step - loss: 0.1001 - acc: 0.9996 - val_loss: 0.2631 - val_acc: 0.9568Epoch 832/1000327s 653ms/step - loss: 0.1000 - acc: 0.9996 - val_loss: 0.2604 - val_acc: 0.9569Epoch 833/1000327s 654ms/step - loss: 0.0998 - acc: 0.9996 - val_loss: 0.2589 - val_acc: 0.9571Epoch 834/1000327s 654ms/step - loss: 0.0995 - acc: 0.9996 - val_loss: 0.2605 - val_acc: 0.9567Epoch 835/1000327s 653ms/step - loss: 0.0995 - acc: 0.9995 - val_loss: 0.2616 - val_acc: 0.9565Epoch 836/1000327s 653ms/step - loss: 0.0995 - acc: 0.9996 - val_loss: 0.2612 - val_acc: 0.9557Epoch 837/1000327s 653ms/step - loss: 0.0992 - acc: 0.9996 - val_loss: 0.2623 - val_acc: 0.9566Epoch 838/1000327s 653ms/step - loss: 0.0991 - acc: 0.9995 - val_loss: 0.2611 - val_acc: 0.9583Epoch 839/1000330s 660ms/step - loss: 0.0993 - acc: 0.9996 - val_loss: 0.2620 - val_acc: 0.9570Epoch 840/1000333s 666ms/step - loss: 0.0990 - acc: 0.9997 - val_loss: 0.2628 - val_acc: 0.9566Epoch 841/1000334s 668ms/step - loss: 0.0989 - acc: 0.9996 - val_loss: 0.2620 - val_acc: 0.9572Epoch 842/1000333s 667ms/step - loss: 0.0985 - acc: 0.9996 - val_loss: 0.2633 - val_acc: 0.9577Epoch 843/1000334s 667ms/step - loss: 0.0985 - acc: 0.9996 - val_loss: 0.2622 - val_acc: 0.9575Epoch 844/1000333s 667ms/step - loss: 0.0984 - acc: 0.9996 - val_loss: 0.2646 - val_acc: 0.9564Epoch 845/1000334s 667ms/step - loss: 0.0981 - acc: 0.9997 - val_loss: 0.2638 - val_acc: 0.9565Epoch 846/1000334s 667ms/step - loss: 0.0982 - acc: 0.9994 - val_loss: 0.2649 - val_acc: 0.9570Epoch 847/1000334s 667ms/step - loss: 0.0980 - acc: 0.9996 - val_loss: 0.2629 - val_acc: 0.9575Epoch 848/1000334s 669ms/step - loss: 0.0981 - acc: 0.9994 - val_loss: 0.2632 - val_acc: 0.9570Epoch 849/1000334s 669ms/step - loss: 0.0976 - acc: 0.9996 - val_loss: 0.2643 - val_acc: 0.9568Epoch 850/1000334s 667ms/step - loss: 0.0977 - acc: 0.9995 - val_loss: 0.2665 - val_acc: 0.9562Epoch 851/1000333s 667ms/step - loss: 0.0972 - acc: 0.9996 - val_loss: 0.2661 - val_acc: 0.9558Epoch 852/1000334s 667ms/step - loss: 0.0973 - acc: 0.9995 - val_loss: 0.2645 - val_acc: 0.9567Epoch 853/1000333s 667ms/step - loss: 0.0968 - acc: 0.9997 - val_loss: 0.2615 - val_acc: 0.9568Epoch 854/1000333s 667ms/step - loss: 0.0969 - acc: 0.9996 - val_loss: 0.2617 - val_acc: 0.9560Epoch 855/1000334s 667ms/step - loss: 0.0966 - acc: 0.9997 - val_loss: 0.2616 - val_acc: 0.9563Epoch 856/1000334s 667ms/step - loss: 0.0967 - acc: 0.9996 - val_loss: 0.2621 - val_acc: 0.9569Epoch 857/1000334s 667ms/step - loss: 0.0963 - acc: 0.9997 - val_loss: 0.2619 - val_acc: 0.9570Epoch 858/1000333s 667ms/step - loss: 0.0961 - acc: 0.9997 - val_loss: 0.2616 - val_acc: 0.9569Epoch 859/1000333s 667ms/step - loss: 0.0961 - acc: 0.9996 - val_loss: 0.2601 - val_acc: 0.9574Epoch 860/1000333s 667ms/step - loss: 0.0964 - acc: 0.9995 - val_loss: 0.2591 - val_acc: 0.9570Epoch 861/1000334s 667ms/step - loss: 0.0959 - acc: 0.9996 - val_loss: 0.2598 - val_acc: 0.9571Epoch 862/1000333s 667ms/step - loss: 0.0961 - acc: 0.9995 - val_loss: 0.2597 - val_acc: 0.9565Epoch 863/1000334s 668ms/step - loss: 0.0957 - acc: 0.9996 - val_loss: 0.2620 - val_acc: 0.9572Epoch 864/1000334s 669ms/step - loss: 0.0957 - acc: 0.9995 - val_loss: 0.2642 - val_acc: 0.9562Epoch 865/1000334s 668ms/step - loss: 0.0957 - acc: 0.9994 - val_loss: 0.2569 - val_acc: 0.9570Epoch 866/1000333s 667ms/step - loss: 0.0953 - acc: 0.9996 - val_loss: 0.2587 - val_acc: 0.9564Epoch 867/1000333s 667ms/step - loss: 0.0952 - acc: 0.9995 - val_loss: 0.2606 - val_acc: 0.9560Epoch 868/1000333s 667ms/step - loss: 0.0953 - acc: 0.9996 - val_loss: 0.2566 - val_acc: 0.9586Epoch 869/1000333s 667ms/step - loss: 0.0948 - acc: 0.9997 - val_loss: 0.2599 - val_acc: 0.9576Epoch 870/1000333s 667ms/step - loss: 0.0952 - acc: 0.9995 - val_loss: 0.2598 - val_acc: 0.9564Epoch 871/1000334s 667ms/step - loss: 0.0950 - acc: 0.9995 - val_loss: 0.2591 - val_acc: 0.9567Epoch 872/1000334s 667ms/step - loss: 0.0945 - acc: 0.9996 - val_loss: 0.2568 - val_acc: 0.9577Epoch 873/1000334s 667ms/step - loss: 0.0945 - acc: 0.9996 - val_loss: 0.2610 - val_acc: 0.9565Epoch 874/1000334s 667ms/step - loss: 0.0942 - acc: 0.9996 - val_loss: 0.2598 - val_acc: 0.9551Epoch 875/1000334s 669ms/step - loss: 0.0941 - acc: 0.9995 - val_loss: 0.2574 - val_acc: 0.9579Epoch 876/1000334s 669ms/step - loss: 0.0942 - acc: 0.9996 - val_loss: 0.2578 - val_acc: 0.9566Epoch 877/1000334s 667ms/step - loss: 0.0938 - acc: 0.9996 - val_loss: 0.2568 - val_acc: 0.9563Epoch 878/1000333s 667ms/step - loss: 0.0934 - acc: 0.9997 - val_loss: 0.2554 - val_acc: 0.9564Epoch 879/1000333s 666ms/step - loss: 0.0935 - acc: 0.9997 - val_loss: 0.2569 - val_acc: 0.9563Epoch 880/1000334s 667ms/step - loss: 0.0936 - acc: 0.9997 - val_loss: 0.2580 - val_acc: 0.9564Epoch 881/1000333s 667ms/step - loss: 0.0936 - acc: 0.9995 - val_loss: 0.2569 - val_acc: 0.9561Epoch 882/1000334s 667ms/step - loss: 0.0931 - acc: 0.9996 - val_loss: 0.2581 - val_acc: 0.9563Epoch 883/1000334s 667ms/step - loss: 0.0929 - acc: 0.9997 - val_loss: 0.2587 - val_acc: 0.9571Epoch 884/1000334s 667ms/step - loss: 0.0931 - acc: 0.9995 - val_loss: 0.2602 - val_acc: 0.9572Epoch 885/1000333s 667ms/step - loss: 0.0925 - acc: 0.9997 - val_loss: 0.2569 - val_acc: 0.9574Epoch 886/1000334s 667ms/step - loss: 0.0928 - acc: 0.9997 - val_loss: 0.2591 - val_acc: 0.9584Epoch 887/1000335s 669ms/step - loss: 0.0926 - acc: 0.9995 - val_loss: 0.2612 - val_acc: 0.9570Epoch 888/1000334s 669ms/step - loss: 0.0929 - acc: 0.9994 - val_loss: 0.2594 - val_acc: 0.9577Epoch 889/1000334s 668ms/step - loss: 0.0922 - acc: 0.9997 - val_loss: 0.2591 - val_acc: 0.9567Epoch 890/1000333s 667ms/step - loss: 0.0926 - acc: 0.9994 - val_loss: 0.2588 - val_acc: 0.9571Epoch 891/1000334s 667ms/step - loss: 0.0923 - acc: 0.9995 - val_loss: 0.2615 - val_acc: 0.9563Epoch 892/1000334s 667ms/step - loss: 0.0919 - acc: 0.9995 - val_loss: 0.2573 - val_acc: 0.9580Epoch 893/1000334s 667ms/step - loss: 0.0918 - acc: 0.9997 - val_loss: 0.2585 - val_acc: 0.9570Epoch 894/1000334s 667ms/step - loss: 0.0919 - acc: 0.9997 - val_loss: 0.2587 - val_acc: 0.9571Epoch 895/1000334s 667ms/step - loss: 0.0913 - acc: 0.9998 - val_loss: 0.2579 - val_acc: 0.9568Epoch 896/1000334s 668ms/step - loss: 0.0916 - acc: 0.9996 - val_loss: 0.2551 - val_acc: 0.9581Epoch 897/1000334s 667ms/step - loss: 0.0915 - acc: 0.9995 - val_loss: 0.2544 - val_acc: 0.9578Epoch 898/1000334s 667ms/step - loss: 0.0919 - acc: 0.9994 - val_loss: 0.2601 - val_acc: 0.9558Epoch 899/1000333s 667ms/step - loss: 0.0914 - acc: 0.9996 - val_loss: 0.2554 - val_acc: 0.9575Epoch 900/1000334s 667ms/step - loss: 0.0909 - acc: 0.9995 - val_loss: 0.2557 - val_acc: 0.9576Epoch 901/1000lr changed to 9.999999310821295e-05333s 667ms/step - loss: 0.0910 - acc: 0.9995 - val_loss: 0.2555 - val_acc: 0.9575Epoch 902/1000330s 660ms/step - loss: 0.0911 - acc: 0.9995 - val_loss: 0.2548 - val_acc: 0.9576Epoch 903/1000327s 654ms/step - loss: 0.0912 - acc: 0.9995 - val_loss: 0.2552 - val_acc: 0.9576Epoch 904/1000327s 653ms/step - loss: 0.0910 - acc: 0.9995 - val_loss: 0.2545 - val_acc: 0.9572Epoch 905/1000327s 654ms/step - loss: 0.0904 - acc: 0.9998 - val_loss: 0.2548 - val_acc: 0.9575Epoch 906/1000327s 653ms/step - loss: 0.0905 - acc: 0.9998 - val_loss: 0.2549 - val_acc: 0.9572Epoch 907/1000327s 654ms/step - loss: 0.0908 - acc: 0.9995 - val_loss: 0.2546 - val_acc: 0.9573Epoch 908/1000327s 654ms/step - loss: 0.0908 - acc: 0.9995 - val_loss: 0.2542 - val_acc: 0.9573Epoch 909/1000327s 654ms/step - loss: 0.0910 - acc: 0.9994 - val_loss: 0.2539 - val_acc: 0.9578Epoch 910/1000327s 654ms/step - loss: 0.0905 - acc: 0.9996 - val_loss: 0.2538 - val_acc: 0.9575Epoch 911/1000327s 653ms/step - loss: 0.0908 - acc: 0.9996 - val_loss: 0.2537 - val_acc: 0.9574Epoch 912/1000327s 654ms/step - loss: 0.0906 - acc: 0.9996 - val_loss: 0.2534 - val_acc: 0.9573Epoch 913/1000327s 653ms/step - loss: 0.0903 - acc: 0.9998 - val_loss: 0.2538 - val_acc: 0.9575Epoch 914/1000331s 662ms/step - loss: 0.0905 - acc: 0.9996 - val_loss: 0.2542 - val_acc: 0.9577Epoch 915/1000333s 667ms/step - loss: 0.0904 - acc: 0.9997 - val_loss: 0.2544 - val_acc: 0.9572Epoch 916/1000331s 662ms/step - loss: 0.0905 - acc: 0.9997 - val_loss: 0.2543 - val_acc: 0.9574Epoch 917/1000327s 654ms/step - loss: 0.0905 - acc: 0.9995 - val_loss: 0.2543 - val_acc: 0.9576Epoch 918/1000327s 653ms/step - loss: 0.0901 - acc: 0.9998 - val_loss: 0.2541 - val_acc: 0.9578Epoch 919/1000327s 654ms/step - loss: 0.0904 - acc: 0.9997 - val_loss: 0.2543 - val_acc: 0.9578Epoch 920/1000327s 653ms/step - loss: 0.0902 - acc: 0.9998 - val_loss: 0.2545 - val_acc: 0.9575Epoch 921/1000327s 654ms/step - loss: 0.0903 - acc: 0.9997 - val_loss: 0.2544 - val_acc: 0.9578Epoch 922/1000327s 653ms/step - loss: 0.0903 - acc: 0.9996 - val_loss: 0.2542 - val_acc: 0.9575Epoch 923/1000327s 654ms/step - loss: 0.0903 - acc: 0.9997 - val_loss: 0.2544 - val_acc: 0.9577Epoch 924/1000327s 654ms/step - loss: 0.0905 - acc: 0.9996 - val_loss: 0.2548 - val_acc: 0.9573Epoch 925/1000327s 654ms/step - loss: 0.0904 - acc: 0.9997 - val_loss: 0.2547 - val_acc: 0.9574Epoch 926/1000327s 654ms/step - loss: 0.0903 - acc: 0.9997 - val_loss: 0.2546 - val_acc: 0.9575Epoch 927/1000327s 653ms/step - loss: 0.0905 - acc: 0.9996 - val_loss: 0.2545 - val_acc: 0.9576Epoch 928/1000327s 654ms/step - loss: 0.0901 - acc: 0.9998 - val_loss: 0.2543 - val_acc: 0.9576Epoch 929/1000327s 654ms/step - loss: 0.0901 - acc: 0.9998 - val_loss: 0.2544 - val_acc: 0.9579Epoch 930/1000327s 654ms/step - loss: 0.0902 - acc: 0.9997 - val_loss: 0.2538 - val_acc: 0.9577Epoch 931/1000327s 653ms/step - loss: 0.0904 - acc: 0.9995 - val_loss: 0.2539 - val_acc: 0.9576Epoch 932/1000327s 655ms/step - loss: 0.0901 - acc: 0.9997 - val_loss: 0.2535 - val_acc: 0.9577Epoch 933/1000327s 654ms/step - loss: 0.0902 - acc: 0.9997 - val_loss: 0.2541 - val_acc: 0.9578Epoch 934/1000327s 654ms/step - loss: 0.0899 - acc: 0.9998 - val_loss: 0.2541 - val_acc: 0.9579Epoch 935/1000327s 654ms/step - loss: 0.0907 - acc: 0.9995 - val_loss: 0.2542 - val_acc: 0.9579Epoch 936/1000327s 654ms/step - loss: 0.0900 - acc: 0.9997 - val_loss: 0.2543 - val_acc: 0.9576Epoch 937/1000327s 655ms/step - loss: 0.0900 - acc: 0.9998 - val_loss: 0.2544 - val_acc: 0.9575Epoch 938/1000328s 655ms/step - loss: 0.0901 - acc: 0.9997 - val_loss: 0.2544 - val_acc: 0.9577Epoch 939/1000329s 659ms/step - loss: 0.0900 - acc: 0.9997 - val_loss: 0.2544 - val_acc: 0.9580Epoch 940/1000328s 657ms/step - loss: 0.0901 - acc: 0.9996 - val_loss: 0.2544 - val_acc: 0.9577Epoch 941/1000328s 657ms/step - loss: 0.0900 - acc: 0.9997 - val_loss: 0.2541 - val_acc: 0.9575Epoch 942/1000333s 666ms/step - loss: 0.0900 - acc: 0.9996 - val_loss: 0.2536 - val_acc: 0.9577Epoch 943/1000333s 667ms/step - loss: 0.0901 - acc: 0.9996 - val_loss: 0.2536 - val_acc: 0.9575Epoch 944/1000329s 657ms/step - loss: 0.0896 - acc: 0.9998 - val_loss: 0.2536 - val_acc: 0.9575Epoch 945/1000326s 653ms/step - loss: 0.0899 - acc: 0.9998 - val_loss: 0.2537 - val_acc: 0.9577Epoch 946/1000327s 654ms/step - loss: 0.0899 - acc: 0.9997 - val_loss: 0.2535 - val_acc: 0.9577Epoch 947/1000326s 652ms/step - loss: 0.0901 - acc: 0.9996 - val_loss: 0.2533 - val_acc: 0.9580Epoch 948/1000326s 652ms/step - loss: 0.0899 - acc: 0.9996 - val_loss: 0.2529 - val_acc: 0.9576Epoch 949/1000326s 652ms/step - loss: 0.0901 - acc: 0.9997 - val_loss: 0.2530 - val_acc: 0.9582Epoch 950/1000326s 653ms/step - loss: 0.0898 - acc: 0.9998 - val_loss: 0.2528 - val_acc: 0.9578Epoch 951/1000326s 652ms/step - loss: 0.0897 - acc: 0.9998 - val_loss: 0.2531 - val_acc: 0.9581Epoch 952/1000326s 653ms/step - loss: 0.0894 - acc: 0.9999 - val_loss: 0.2533 - val_acc: 0.9584Epoch 953/1000327s 654ms/step - loss: 0.0900 - acc: 0.9997 - val_loss: 0.2534 - val_acc: 0.9580Epoch 954/1000327s 654ms/step - loss: 0.0896 - acc: 0.9998 - val_loss: 0.2535 - val_acc: 0.9583Epoch 955/1000327s 654ms/step - loss: 0.0900 - acc: 0.9996 - val_loss: 0.2534 - val_acc: 0.9579Epoch 956/1000327s 653ms/step - loss: 0.0896 - acc: 0.9998 - val_loss: 0.2533 - val_acc: 0.9581Epoch 957/1000327s 654ms/step - loss: 0.0898 - acc: 0.9997 - val_loss: 0.2528 - val_acc: 0.9581Epoch 958/1000327s 654ms/step - loss: 0.0895 - acc: 0.9998 - val_loss: 0.2530 - val_acc: 0.9580Epoch 959/1000327s 654ms/step - loss: 0.0897 - acc: 0.9997 - val_loss: 0.2537 - val_acc: 0.9582Epoch 960/1000327s 654ms/step - loss: 0.0895 - acc: 0.9997 - val_loss: 0.2535 - val_acc: 0.9578Epoch 961/1000327s 654ms/step - loss: 0.0895 - acc: 0.9998 - val_loss: 0.2533 - val_acc: 0.9580Epoch 962/1000327s 654ms/step - loss: 0.0897 - acc: 0.9997 - val_loss: 0.2529 - val_acc: 0.9579Epoch 963/1000327s 653ms/step - loss: 0.0899 - acc: 0.9996 - val_loss: 0.2534 - val_acc: 0.9576Epoch 964/1000327s 653ms/step - loss: 0.0896 - acc: 0.9997 - val_loss: 0.2536 - val_acc: 0.9580Epoch 965/1000327s 653ms/step - loss: 0.0895 - acc: 0.9997 - val_loss: 0.2535 - val_acc: 0.9583Epoch 966/1000327s 654ms/step - loss: 0.0898 - acc: 0.9997 - val_loss: 0.2538 - val_acc: 0.9581Epoch 967/1000327s 654ms/step - loss: 0.0894 - acc: 0.9997 - val_loss: 0.2536 - val_acc: 0.9582Epoch 968/1000327s 654ms/step - loss: 0.0895 - acc: 0.9998 - val_loss: 0.2538 - val_acc: 0.9583Epoch 969/1000327s 654ms/step - loss: 0.0896 - acc: 0.9997 - val_loss: 0.2543 - val_acc: 0.9580Epoch 970/1000327s 654ms/step - loss: 0.0896 - acc: 0.9996 - val_loss: 0.2545 - val_acc: 0.9584Epoch 971/1000327s 655ms/step - loss: 0.0898 - acc: 0.9997 - val_loss: 0.2545 - val_acc: 0.9582Epoch 972/1000327s 654ms/step - loss: 0.0897 - acc: 0.9997 - val_loss: 0.2543 - val_acc: 0.9577Epoch 973/1000327s 654ms/step - loss: 0.0896 - acc: 0.9996 - val_loss: 0.2541 - val_acc: 0.9581Epoch 974/1000327s 654ms/step - loss: 0.0895 - acc: 0.9997 - val_loss: 0.2543 - val_acc: 0.9583Epoch 975/1000327s 654ms/step - loss: 0.0895 - acc: 0.9997 - val_loss: 0.2541 - val_acc: 0.9580Epoch 976/1000327s 654ms/step - loss: 0.0895 - acc: 0.9997 - val_loss: 0.2543 - val_acc: 0.9580Epoch 977/1000327s 654ms/step - loss: 0.0894 - acc: 0.9997 - val_loss: 0.2542 - val_acc: 0.9576Epoch 978/1000327s 654ms/step - loss: 0.0895 - acc: 0.9997 - val_loss: 0.2543 - val_acc: 0.9576Epoch 979/1000327s 653ms/step - loss: 0.0894 - acc: 0.9997 - val_loss: 0.2546 - val_acc: 0.9576Epoch 980/1000327s 654ms/step - loss: 0.0895 - acc: 0.9997 - val_loss: 0.2549 - val_acc: 0.9579Epoch 981/1000327s 653ms/step - loss: 0.0896 - acc: 0.9996 - val_loss: 0.2551 - val_acc: 0.9579Epoch 982/1000327s 654ms/step - loss: 0.0899 - acc: 0.9996 - val_loss: 0.2546 - val_acc: 0.9584Epoch 983/1000327s 654ms/step - loss: 0.0895 - acc: 0.9996 - val_loss: 0.2548 - val_acc: 0.9584Epoch 984/1000327s 653ms/step - loss: 0.0894 - acc: 0.9997 - val_loss: 0.2545 - val_acc: 0.9583Epoch 985/1000327s 654ms/step - loss: 0.0895 - acc: 0.9997 - val_loss: 0.2545 - val_acc: 0.9581Epoch 986/1000327s 654ms/step - loss: 0.0895 - acc: 0.9996 - val_loss: 0.2540 - val_acc: 0.9577Epoch 987/1000328s 656ms/step - loss: 0.0894 - acc: 0.9998 - val_loss: 0.2537 - val_acc: 0.9575Epoch 988/1000327s 653ms/step - loss: 0.0892 - acc: 0.9998 - val_loss: 0.2540 - val_acc: 0.9579Epoch 989/1000327s 653ms/step - loss: 0.0894 - acc: 0.9997 - val_loss: 0.2541 - val_acc: 0.9578Epoch 990/1000327s 654ms/step - loss: 0.0893 - acc: 0.9997 - val_loss: 0.2539 - val_acc: 0.9581Epoch 991/1000327s 654ms/step - loss: 0.0892 - acc: 0.9997 - val_loss: 0.2543 - val_acc: 0.9578Epoch 992/1000327s 654ms/step - loss: 0.0890 - acc: 0.9998 - val_loss: 0.2541 - val_acc: 0.9579Epoch 993/1000327s 654ms/step - loss: 0.0892 - acc: 0.9998 - val_loss: 0.2541 - val_acc: 0.9583Epoch 994/1000327s 653ms/step - loss: 0.0892 - acc: 0.9997 - val_loss: 0.2542 - val_acc: 0.9580Epoch 995/1000326s 653ms/step - loss: 0.0893 - acc: 0.9998 - val_loss: 0.2548 - val_acc: 0.9577Epoch 996/1000327s 654ms/step - loss: 0.0892 - acc: 0.9997 - val_loss: 0.2547 - val_acc: 0.9580Epoch 997/1000327s 653ms/step - loss: 0.0895 - acc: 0.9996 - val_loss: 0.2540 - val_acc: 0.9582Epoch 998/1000326s 652ms/step - loss: 0.0891 - acc: 0.9998 - val_loss: 0.2544 - val_acc: 0.9580Epoch 999/1000326s 652ms/step - loss: 0.0890 - acc: 0.9998 - val_loss: 0.2538 - val_acc: 0.9582Epoch 1000/1000326s 653ms/step - loss: 0.0894 - acc: 0.9997 - val_loss: 0.2538 - val_acc: 0.9577Train loss: 0.08789637273550034Train accuracy: 0.999960000038147Test loss: 0.25383884519338606Test accuracy: 0.9577000015974044

相较于调参记录24，本次的测试准确率还降低了0.03%。

Minghang Zhao, Shisheng Zhong, Xuyun Fu, Baoping Tang, Shaojiang Dong, Michael Pecht, Deep Residual Networks with Adaptively Parametric Rectifier Linear Units for Fault Diagnosis, IEEE Transactions on Industrial Electronics, DOI: 10.1109/TIE.2020.2972458, Date of Publication: 13 February 2020

https://ieeexplore.ieee.org/document/8998530

更新：

期间遇到一个问题，将一模一样的程序，拿到另一台硬件和工具包完全相同的电脑上，结果loss在第一个epoch就急剧飙升，然后成为nan。反复尝试了很多次，每次都这样。折腾了两天，更换了很多显卡驱动、Cuda、TensorFlow和Keras的版本，最后也没有解决，放弃了。

————————————————

版权声明：本文为CSDN博主「dangqing1988」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。

原文链接：Https://blog.csdn.net/dangqing1988/article/details/106498485