Должна. На автомате вписал relu. В принципе, с ReLU ничего не поломается и сойдётся как надо, а скорее всего и быстрее.