求 Heavside 函数（单位/级数函数）的导数 EN

Heaviside step function的导数在所有地方都是零，除了在分支点，分支点是零，因为它不存在。这是因为Heaviside函数是由两个在不同区间上的常数函数组成的，并且常数函数的导数总是零。导数不存在于零点，因为函数在零点不连续(零点存在跳跃)。

从数值上讲，导数在任何地方都设置为零，即使在零处也是如此。这是有问题的，因为梯度下降将不起作用，因为权重将不会更新，并且将从初始化时起保持不变。要使梯度下降工作，您将需要一个平滑版本的Heaviside函数。一种可能是简单的sigmoid函数。

关于第二个问题，是的，您可以在许多框架(如TensorFlow )中定义具有自定义渐变的自定义函数。您可以将输出设置为Heaviside函数的输出，将梯度设置为sigmoid函数的梯度。