当前位置：首页 > article >正文

C++builder中的人工智能（16）：神经网络中的SoftPlus激活函数

article 2024/11/13 6:39:47

现在我们继续探索一下SoftPlus激活函数在人工神经网络（ANN）中的应用。了解SoftPlus激活函数的工作原理，将有助于您在使用C++ IDE构建C++应用程序时更加得心应手。

神经网络中的激活函数是什么？

激活函数（phi()），也称为转移函数或阈值函数，它根据净输入函数的给定值（sum）确定激活值（a = phi(sum)）。在这里，sum是它们权重中的信号之和，激活函数是这个和的新值，具有给定的函数或条件。换句话说，激活函数是将所有加权信号的和转换为该信号的新激活值的方法。有不同类型的激活函数，常用的包括线性（恒等）、双极性和逻辑（sigmoid）函数。

能在C++中创建激活函数吗？

在C++中（以及大多数编程语言），您可以创建自己的激活函数。注意，sum是净输入函数的结果，它计算所有加权信号的和。我们将使用这些作为输入函数的结果。在这里，人工神经元（输出值）的激活值可以通过激活函数如下所示，

通过使用这个sum净输入函数值和phi()激活函数，让我们看看C++中的一些激活函数；现在让我们看看如何使用SoftPlus函数作为这个示例公式的，

SoftPlus激活函数是什么？

SoftPlus激活函数由Dugas等人在2001年开发和发布。简单来说，SoftPlus函数可以写成如下，

f(x) = log( 1+exp(x) );

根据他们的论文（https://papers.nips.cc/paper/2000/file/44968aece94f667e4095002d140b5896-Paper.pdf），他们提出的函数类别的基本思想是，他们用Softplus或sigmoid函数替换了求和的sigmoid，每个维度上都有一个（使用Softplus在凸维度上，sigmoid在其他维度上）。他们引入了新类别的函数，类似于多层神经网络具有这些属性的概念。

如何在C++中编写SoftPlus激活函数？

在C++中，SoftPlus激活函数可以编写如下：

double phi(double sum) {
    return(std::log(1 + std::exp(sum))); // SoftPlus函数
}

有没有一个简单的C++ ANN示例使用SoftPlus激活函数？

以下是一个简单的C++ ANN示例，使用SoftPlus激活函数：

#include <iostream>
#define NN 2   // 神经元数量

class Tneuron { // 神经元类
public:
    double a;       // 每个神经元的活动值
    double w[NN+1]; // 神经元之间连接的权重

    Tneuron() {
        a = 0;
        for (int i = 0; i <= NN; i++) w[i] = -1;  // 如果权重是负数，则表示没有连接
    }

    // 定义输出神经元的激活函数（或阈值）
    double phi(double sum) {
        return(std::log(1 + std::exp(sum))); // SoftPlus函数
    }
};

Tneuron ne[NN+1]; // 神经元对象

void fire(int nn) {
    double sum = 0;
    for (int j = 0; j <= NN; j++) {
        if (ne[j].w[nn] >= 0) sum += ne[j].a * ne[j].w[nn];
    }
    ne[nn].a = ne[nn].phi(sum);
}

int main() {
    // 定义两个输入神经元（a0, a1）和一个输出神经元（a2）的活动值
    ne[0].a = 0.0;
    ne[1].a = 1.0;
    ne[2].a = 0;

    // 定义来自两个输入神经元到输出神经元（0到2和1到2）的信号权重
    ne[0].w[2] = 0.3;
    ne[1].w[2] = 0.2;

    // 激发我们的人工神经元活动，输出将是
    fire(2);
    printf("%10.6f\n", ne[2].a);
    getchar();
    return 0;
}

这个示例展示了如何在C++中使用SoftPlus激活函数来模拟一个简单的人工神经网络。通过这种方式，你可以构建更复杂的神经网络模型，并在C++应用中实现深度学习技术。

查看全文

http://www.kler.cn/a/386524.html