ReLU可以处理负面的输入吗？
我正在对数据进行神经网络训练，以负值和正值出现。
有什么方法可以将数据提供给ReLU网络，而不必将其全部转换为正数，并有单独的输入来说明数据是负数还是负数？
我看到的问题是，输入层的负输入意味着除非您初始化权重为负数，否则ReLU节点永远不会被激活并永远死亡。
我不是100％确定你在问什么，因为有很多激活功能，你可以很容易地编写你自己的代码。 如果你不想自己编码，也许尝试一些替代方法：
泄漏ReLU
参数化的ReLU
基本上，看看这里 
如果你真的在输入层使用激活函数，我会建议使用ELU等其他激活函数，或者将数据转换为范围[0,1]。 如果ReLU函数位于某个隐藏层中，则ReLU函数应该只是暂时失效。
假设您在前馈网络的最后一个隐藏层中具有ReLU功能。 使用反向传播算法，应该有可能改变先前隐藏层的输出，使得最终ReLU函数的输入再次变为正值。 那么ReLU不会再死了。 有可能是我在这里失去了一些东西。
无论如何，你一定要给ELU一个尝试！ 与ReLU相比，我获得了更好的结果。
链接地址: http://www.djcxy.com/p/96039.html