每天五分钟深度学习框架pytorch：激活函数在神经网络中的应用
本文重点
在神经网络搭建的时候，激活层是很重要的，本文讲解一下pytorch中已经封装好的激活函数，我们在使用的时候直接调用就可以了。
nn模块中部分激活函数的父类
class Threshold(Module):
__constants__ = ['threshold', 'value', 'inplace']
def __init__(self, threshold, value, inplace=False):
super(Threshold, self).__init__()
self.threshold = threshold
self.value = value
self.inplace = inplace
# TODO: check in THNN (if inplace == True, then assert value <= threshold)
@weak_script_method
def forward(self, input):
return F.threshold(input, self.threshold, self.value, self.inplace)
def extra_repr(self):
inplace_str = ', inplace' if self.inplace else ''
return 'threshold={}, value={}{}'.format(
self.thres