当前位置: 首页 > article >正文

AGI的基石:什么是机器学习

什么是机器学习:机器学习是人工智能的子集,深度学习是其重要的组成部分,包括不限于:deep neural networks 、deep belief networksrecurrent neural networks。在深度学习中,有三种基本的神经网络架构:FFNN、RNN和CNN。主要区别是在不同类型数据上的表现差异。

深度神经网络 :

Deep Neural Networks(DNNs)通常是前馈网络(Feed Forward Networks - FFNN)类型,其中数据从输入层流向输出层,不会反向流动,层与层之间是单向的,永远不会再次回到触发节点。

输出是通过基于“我们想要的信息”的监督学习和具有某些信息的数据集通过反向传播获得的。就像你去餐馆,厨师给你介绍你餐点的配料。FFNNs(前馈神经网络)的工作方式与此相同,你会在吃饭时尝到那些特定配料的味道,但吃完饭后你会忘记你吃了什么。如果厨师再次给你同样的配料做的餐点,你无法识别配料,你必须从头开始,因为你没有任何记忆。但人脑并不是这样工作的。

循环神经网络:

Recurrent Neural Network(RNN)解决DNNs的无状态问题,它是一种具有时间维度的FFNN。具有跨传递的连接和跨时间的连接。其中节点之间的连接形成了一个沿着序列的定向图,如从一层到前一层的特点链接,允许信息流回网络的先前部分,因此每个层中的模型都依赖于过去的事件,使信息得以持续。使用它们的内部状态(记忆)来处理输入序列,使得它们适用于诸如无分割、连续手写识别或语音识别等任务,不但可以处理现在给出的信息,还可以处理过去的相关信息。

但是记忆的信息会随着时间的推移而丢失。为了解决这个问题,出现了 LSTM (Long Short Term Memory)。LSTM 是一种特殊的循环神经网络(RNN),能够学习长期依赖关系,这使得 RNN 擅长记住过去发生的事情,并找到时间上的模式,使其下一次猜测更有意义。LSTM 在改进机器翻译、语言建模和多语言语言处理方面打破了记录。

卷积神经网络:

Convolutional Neural Network(CNN)最常用来分析视觉图像。它们的其它应用包括视频理解、语音识别和自然语言处理。此外,长短期记忆网络(LSTM)与卷积神经网络(CNNs)结合,改进了如图像自动标题生成等在 Facebook 上所见到的功能。因此,你可以看到 RNN 更像是帮助我们进行数据处理和预测下一步,而 CNN 则帮助我们进行视觉分析。

RNN or CNN:

通常情况下CNN比RNN更强大,主要是因为RNN存在梯度消失和爆炸问题(超过3层,性能可能会下降),即使有LSTM。而 CNN 可以被堆叠成非常深的模型,这已被证明是非常有效的方式。

然而CNN也有比较大的问题。典型的 CNN 可以识别物体的类型,但不能指定它们的位置。这是因为 CNN 一次只能回归一个物体,因此当多个物体位于同一视觉场时,由于干扰,CNN 的边界框回归无法很好地工作。例如,CNN 可以检测到下面模型中显示的鸟,但如果同一视觉场内有两只不同种类的鸟,它就无法检测到。

Transformer

早些年,深度学习用到的方法是卷积神经网络(CNN)和循环神经网络(RNN)。

2017年,谷歌的研究人员发明了一种新的深度学习处理方法,叫做 Transformer(转换器)。

Transformer 不同于以前的方法,不再一个个处理输入的单词,而是一次性处理整个输入,对每个词分配不同的权重。

这种方法直接导致了2022年 ChatGPT 和后来无数生成式 AI 模型的诞生,是神经网络和深度学习目前的主流方法。

由于基于 Transformer 的模型需要一次性处理整个输入,所以都有"上下文大小"这个指标,指的是一次可以处理的最大输入。

比如,GPT-4 Turbo 的上下文是 128k 个 Token,相当于一次性读取超过300页的文本。上下文越大,模型能够考虑的信息就越多,生成的回答也就越相关和连贯,相应的,所需要的算力也就越多。


道一云七巧-与你在技术领域共同成长

了解更多:https://qiqiao.do1.com.cn/


http://www.kler.cn/a/540229.html

相关文章:

  • 集成右键的好用软件,支持多线程操作!
  • git rebase 和 git merge的区别
  • R语言LCMM多维度潜在类别模型流行病学研究:LCA、MM方法分析纵向数据
  • 深入探究 Go 语言中的 Fx 框架:依赖注入的强大工具
  • windows10 wsa 安卓子系统终结版
  • 【华为OD机考】华为OD笔试真题解析(1)--AI处理器组合
  • 【DeepSeek × Postman】请求回复
  • UP-VLA:具身智体的统一理解与预测模型
  • USB子系统学习(四)用户态下使用libusb读取鼠标数据
  • 深度学习-与OCR结合
  • react脚手架搭建react项目使用scss
  • windows 边框函数 画笔
  • MIT6.824 Lecture 2-RPC and Threads Lecture 3-GFS
  • Post-trained猜想
  • 长安汽车发布“北斗天枢2.0”计划,深蓝汽车普及全民智驾
  • 安装 Ollama 需要哪些步骤?(windows+mac+linux+二进制+Docker)
  • 云原生(五十四) | RDS数据导入与导出
  • Jenkins设置防火墙规则允许访问本机IP端口
  • 面试高频题拆解
  • 如果一个服务器突然间变的很卡,该如何排查?
  • 局域网内别的电脑怎么连接到对方的mysql数据库
  • 前后端分离的网页游戏,后端spring boot,前端vite+vue
  • 深度学习 OpenAI的DALL-E等模型可以根据用户输入的文字描述生成图像
  • NO.10十六届蓝桥杯备战|cout格式控制|习题(C++)
  • web第二次作业
  • FNN —— 基于因子分解机的神经网络