【HTTPS】—— HTTPS协议原理详解
目录
(一)Https是什么
1.1 什么是加密
1.2 为什么要加密
1.3 常见的加密方式
1.4 数据摘要 && 数据指纹
(二)Https工作过程研究
方案一:只使用对称秘钥
方案二:只使用非对称秘钥
方案三:双方都使用非对称秘钥
方案四:非对称秘钥 + 对称秘钥
方案五:非对称秘钥 + 对称秘钥 + 证书认证
总结
(一)Https是什么
HTTPS 也是⼀个应用层协议. 是在 HTTP 协议的基础上引⼊了⼀个加密层.HTTP 协议内容都是按照文本的方式明文传输的. 这就导致在传输过程中出现⼀些被篡改的情况.
1.1 什么是加密
加密就是把 明文 (要传输的信息)进行⼀系列变换, ⽣成密文 .解密就是把 密文 再进行⼀系列变换, 还原成明文.
- 在这个加密和解密的过程中, 往往需要⼀个或者多个中间的数据, 辅助进行这个过程, 这样的数据称为密钥
加密解密到如今已经发展成⼀个独⽴的学科: 密码学.
而密码学的奠基人, 也正是计算机科学的祖师爷之⼀, 艾伦·⻨席森·图灵
对⽐我们另⼀位祖师爷冯诺依曼
好像图灵⼤佬的头发有点多.....
其实这是⼀个悲伤的故事. 图灵⼤佬年少有为, 不光奠定了计算机, ⼈工智能, 密码学的基础, 并且在⼆战中⼤破德军的 Enigma 机, 使盟军占尽情报优势, 才能扭转战局反败为胜. 但是因为⼀些原因, 图灵⼤佬遭到英国皇室的迫害, 41岁就英年早逝了.
计算机领域中的最⾼荣誉就是以他名字命名的 "图灵奖" .
1.2 为什么要加密
臭名昭著的 "运营商劫持"
下载⼀个 天天动听:未被劫持的效果, 点击下载按钮, 就会弹出天天动听的下载链接.
已被劫持的效果, 点击下载按钮, 就会弹出 QQ 浏览器的下载链接
由于我们通过网络传输的任何的数据包都会经过运营商的网络设备(路由器, 交换机等), 那么运营商的网络设备就可以解析出你传输的数据内容, 并进行篡改.
点击 "下载按钮", 其实就是在给服务器发送了⼀个 HTTP 请求, 获取到的 HTTP 响应其实就包含了该 APP 的下载链接. 运营商劫持之后, 就发现这个请求是要下载天天动听, 那么就自动的把交给用户的响应给篡改成 "QQ浏览器" 的下载地址了.
所以:因为http的内容是明文传输的,明文数据会经过路由器、wifi热点、通信服务运营商、代理服务器等多个物理节点,如果信息在传输过程中被劫持,传输的内容就完全暴露了。劫持者还可以篡改传输的信息且不被双方察觉,这就是中间人攻击 ,所以我们才需要对信息进行加密。
HTTPS 就是在 HTTP 的基础上进行了加密, 进⼀步的来保证用户的信息安全~
1.3 常见的加密方式
🔥 对称加密
- 采用单钥密码系统的加密方法,同⼀个密钥可以同时用作信息的加密和解密,这种加密方法称为对称加密,也称为单密钥加密,特征:加密和解密所用的密钥是相同的
- 常见对称加密算法(了解):DES、3DES、AES、TDEA、Blowfish、RC2等
- 特点:算法公开、计算量小、加密速度快、加密效率⾼
对称加密其实就是通过同⼀个 "密钥" , 把明文加密成密文, 并且也能把密文解密成明文
⼀个简单的对称加密, 按位异或假设 明文 a = 1234, 密钥 key = 8888则加密 a ^ key 得到的密文 b 为 9834.然后针对密文 9834 再次进行运算 b ^ key, 得到的就是原来的明文 1234.(对于字符串的对称加密也是同理, 每⼀个字符都可以表示成⼀个数字)当然, 按位异或只是最简单的对称加密. HTTPS 中并不是使用按位异或.
🔥 非对称加密
- 需要两个密钥来进行加密和解密,这两个密钥是公开密钥(public key,简称公钥)和私有密钥 (private key,简称私钥)。
- 常见非对称加密算法(了解):RSA,DSA,ECDSA
- 特点:算法强度复杂、安全性依赖于算法与密钥但是由于其算法复杂,而使得加密解密速度没有对称加密解密的速度快。
💨💨 非对称加密要用到两个密钥, ⼀个叫做 "公钥", ⼀个叫做 "私钥"
公钥和私钥是配对的. 最⼤的缺点就是运算速度⾮常慢,⽐对称加密要慢很多
- 通过公钥对明文加密, 变成密文
- 通过私钥对密文解密, 变成明文
也可以反着用
- 通过私钥对明文加密, 变成密文
- 通过公钥对密文解密, 变成明文
非对称加密的数学原理比较复杂, 涉及到⼀些 数论 相关的知识. 这⾥举⼀个简单的⽣活上的例子.A 要给 B ⼀些重要的文件, 但是 B 可能不在. 于是 A 和 B 提前做出约定:B 说: 我桌子上有个盒子, 然后我给你⼀把锁, 你把文件放盒子⾥用锁锁上, 然后我回头拿着钥匙来开锁取文件.在这个场景中, 这把锁就相当于公钥, 钥匙就是私钥. 公钥给谁都行(不怕泄露), 但是私钥只有 B 自己持有. 持有私钥的人才能解密.
1.4 数据摘要 && 数据指纹
- 数字指纹(数据摘要),其基本原理是利用单向散列函数(Hash函数)对信息进行运算,⽣成⼀串固定长度的数字摘要。数字指纹并不是⼀种加密机制,但可以用来判断数据有没有被窜改。
- 摘要常见算法:有MD5、SHA1、SHA256、SHA512等,算法把⽆限的映射成有限,因此可能会有碰撞(两个不同的信息,算出的摘要相同,但是概率⾮常低)
- 摘要特征:和加密算法的区别是,摘要严格意义不是加密,因为没有解密,只不过从摘要很难反推原信息,通常用来进行数据对⽐
(二)Https工作过程研究
既然要保证数据安全, 就需要进行 "加密".
网络传输中不再直接传输明文了, 而是加密之后的 "密文".
加密的方式有很多, 但是整体可以分成两⼤类: 对称加密 和 非对称加密
方案一:只使用对称秘钥
如果通信双方都各自持有同⼀个密钥X,且没有别人知道,这两方的通信安全当然是可以被保证的(除非密钥被破解)
引⼊对称加密之后, 即使数据被截获, 由于黑客不知道密钥是啥, 因此就⽆法进⾏解密, 也就不知道请求的真实内容是啥了.
但事情没这么简单. 服务器同⼀时刻其实是给很多客户端提供服务的. 这么多客户端, 每个⼈用的秘钥都必须是不同的(如果是相同那密钥就太容易扩散了, ⿊客就也能拿到了). 因此服务器就需要维护每个客户端和每个密钥之间的关联关系, 这也是个很⿇烦的事情~
比较理想的做法, 就是能在客户端和服务器建⽴连接的时候, 双方协商确定这次的密钥是啥~
但是如果直接把密钥明文传输, 那么⿊客也就能获得密钥了~~ 此时后续的加密操作就形同虚设了.
因此密钥的传输也必须加密传输!
但是要想对密钥进行对称加密, 就仍然需要先协商确定⼀个 "密钥的密钥". 这就成了 "先有鸡还是先有蛋" 的问题了. 此时密钥的传输再⽤对称加密就行不通了.
方案二:只使用非对称秘钥
鉴于非对称加密的机制,如果服务器先把公钥以明文方式传输给浏览器,之后浏览器向服务器传数据前都先用这个公钥加密好再传,从客户端到服务器信道似乎是安全的(有安全问题),因为只有服务器有相应的私钥能解开公钥加密的数据。
但是服务器到浏览器的这条路怎么保障安全?
如果服务器用它的私钥加密数据传给浏览器,那么浏览器用公钥可以解密它,⽽这个公钥是⼀开始通过明文传输给浏览器的,若这个公钥被中间人劫持到了,那他也能用该公钥解密服务器传来的信息了。
方案三:双方都使用非对称秘钥
1.
服务端拥有公钥S与对应的私钥S',客户端拥有公钥C与对应的私钥C'
2.
客户和服务端交换公钥
3.
客户端给服务端发信息:先⽤S对数据加密,再发送,只能由服务器解密,因为只有服务器有私钥 S'
4.
服务端给客户端发信息:先⽤C对数据加密,在发送,只能由客户端解密,因为只有客户端有钥
C'
这样貌似也行啊,但是
•
效率太低
•
依旧有安全问题
方案四:非对称秘钥 + 对称秘钥
先解决效率问题
- 服务端具有⾮对称公钥S和私钥S'
- 客户端发起https请求,获取服务端公钥S
- 客户端在本地生成对称密钥C, 通过公钥S加密, 发送给服务器.
- 由于中间的网络设备没有私钥, 即使截获了数据, 也⽆法还原出内部的原文, 也就⽆法获取到对称密钥(真的吗?)
- 服务器通过私钥S'解密, 还原出客户端发送的对称密钥C. 并且使用这个对称密钥加密给客户端返回的响应数据.
- 后续客户端和服务器的通信都只用对称加密即可. 由于该密钥只有客⼾端和服务器两个主机知道, 其他主机/设备不知道密钥即使截获数据也没有意义.
由于对称加密的效率比非对称加密⾼很多, 因此只是在开始阶段协商密钥的时候使用非对称加密, 后续的传输仍然使用对称加密.
虽然上面已经比较接近答案了,但是依旧有安全问题
方案 2,方案 3,方案 4都存在⼀个问题,如果最开始,中间人就已经开始攻击了呢?
🔥 中间人攻击 - 针对上面的场景
Man-in-the-MiddleAttack,简称“MITM攻击”
确实,在方案2/3/4中,客户端获取到公钥S之后,对客户端形成的对称秘钥X用服务端给客户端的公钥S进行加密,中间人即使窃取到了数据,此时中间人确实⽆法解出客户端形成的密钥X,因为只有服务器有私钥S'
但是中间人的攻击,如果在最开始握手协商的时候就进行了,那就不⼀定了,假设hacker已经成功成为中间人。
- 1. 服务器具有非对称加密算法的公钥S,私钥S'
- 2. 中间人具有非对称加密算法的公钥M,私钥M'
- 3. 客户端向服务器发起请求,服务器明文传送公钥S给客户端
- 4. 中间人劫持数据报文,提取公钥S并保存好,然后将被劫持报⽂中的公钥S替换成为自己的公钥M,并将伪造报文发给客户端
- 5. 客户端收到报文,提取公钥M(⾃⼰当然不知道公钥被更换过了),自己形成对称秘钥X,用公钥M加密X,形成报文发送给服务器
- 6. 中间人劫持后,直接用自己的私钥M'进行解密,得到通信秘钥X,再用曾经保存的服务端公钥S加密后,将报文推送给服务器
- 7. 服务器拿到报文,用自己的私钥S'解密,得到通信秘钥X
- 8. 双方开始采用X进行对称加密,进行通信。但是⼀切都在中间人的掌握中,劫持数据,进行窃听甚至修改,都是可以的
上面的攻击方案,同样适用于方案2,方案3
问题本质出在哪⾥了呢?客户端⽆法确定收到的含有公钥的数据报文,就是目标服务器发送过来的!
🔥 引入证书
CA认证
服务端在使用HTTPS前,需要向CA机构申领⼀份数字证书,数字证书⾥含有证书申请者信息、公钥信息等。服务器把证书传输给浏览器,浏览器从证书⾥获取公钥就⾏了,证书就如⾝份证,证明服务端公钥的权威性。
基本说明:
https://baike.baidu.com/item/CA%E8%AE%A4%E8%AF%81/6471579?fr=aladdin
这个 证书 可以理解成是⼀个结构化的字符串, ⾥⾯包含了以下信息:
- 证书发布机构
- 证书有效期
- 公钥
- 证书所有者
- 签名
需要注意的是:申请证书的时候,需要在特定平台生成查,会同时⽣成⼀对儿密钥对儿,即公钥和私钥。这对密钥对儿就是用来在网络通信中进行明文加密以及数字签名的。
其中公钥会随着CSR文件,⼀起发给CA进行权威认证,私钥服务端自己保留,用来后续进行通信(其实主要就是用来交换对称秘钥)
可以使用在线生成CSR和私钥:
https://myssl.com/csr_create.html
形成CSR之后,后续就是向CA进行申请认证,不过⼀般认证过程很繁琐,网络各种提供证书申请的服务商,⼀般真的需要,直接找平台解决就行
🔥 理解数据签名
签名的形成是基于非对称加密算法的,注意,目前暂时和https没有关系,不要和https中的公钥私钥搞混了
当服务端申请CA证书的时候,CA机构会对该服务端进行审核,并专门为该⽹站形成数字签名,过程如下:
1.
CA机构拥有非对称加密的私钥A和公钥A'
2.
CA机构对服务端申请的证书明文数据进行hash,形成数据摘要
3.
然后对数据摘要⽤CA私钥A'加密,得到数字签名S
服务端申请的证书明文和数字签名S 共同组成了数字证书,这样⼀份数字证书就可以颁发给服务端了.
方案五:非对称秘钥 + 对称秘钥 + 证书认证
在客户端和服务器刚⼀建立连接的时候, 服务器给客户端返回⼀个 证书,证书包含了之前服务端的公钥, 也包含了网站的身份信息.
客户端进行认证
当客户端获取到这个证书之后, 会对证书进行校验(防止证书是伪造的).
- 判定证书的有效期是否过期
- 判定证书的发布机构是否受信任(操作系统中已内置的受信任的证书发布机构).
- 验证证书是否被篡改: 从系统中拿到该证书发布机构的公钥, 对签名解密, 得到⼀个 hash 值(称为数据摘要), 设为 hash1. 然后计算整个证书的 hash 值, 设为 hash2. 对比 hash1 和 hash2 是否相等. 如果相等, 则说明证书是没有被篡改过的
🔥 查看浏览器的受信任证书发布机构
- Chrome 浏览器, 点击右上角的;
- 选择 "设置", 搜索 "证书管理" , 即可看到以下界面. (如果没有,在隐私设置和安全性->安全里面找找)
🔥 中间人有没有可能篡改该证书?
- 中间人篡改了证书的明文
- 由于他没有CA机构的私钥,所以无法hash之后用私钥加密形成签名,那么也就没法办法对篡改后的证书形成匹配的签名
- 如果强行篡改,客户端收到该证书后会发现明文和签名解密后的值不⼀致,则说明证书已被篡改,证书不可信,从而终止向服务器传输信息,防止信息泄露给中间人
🔥 中间人整个掉包证书?
- 因为中间人没有CA私钥,所以无法制作假的证书(为什么?)
- 所以中间人只能向CA申请真证书,然后用自己申请的证书进行掉包
- 这个确实能做到证书的整体掉包,但是别忘记,证书明文中包含了域名等服务端认证信息,如果整体掉包,客户端依旧能够识别出来。
- 永远记住:中间人没有CA私钥,所以对任何证书都无法进行合法修改,包括自己的
完整流程
左侧都是客户端做的事情, 右侧都是服务器做的事情
总结
HttpS 工作过程中涉及到的密钥有三组.
- 第⼀组(非对称加密): 用于校验证书是否被篡改. 服务器持有私钥(私钥在形成CSR⽂件与申请证书时获得), 客户端持有公钥(操作系统包含了可信任的 CA 认证机构有哪些, 同时持有对应的公钥). 服务器在客户端请求是,返回携带签名的证书. 客⼾端通过这个公钥进行证书验证, 保证证书的合法性,进⼀步保 证证书中携带的服务端公钥权威性。
- 第⼆组(非对称加密): 用于协商生成对称加密的密钥. 客户端用收到的CA证书中的公钥(是可被信任的)给随机生成的对称加密的密钥加密, 传输给服务器, 服务器通过私钥解密获取到对称加密密钥.
- 第三组(对称加密): 客户端和服务器后续传输的数据都通过这个对称密钥加密解密.
其实⼀切的关键都是围绕这个对称加密的密钥. 其他的机制都是辅助这个密钥工作的.
- 第⼆组非对称加密的密钥是为了让客户端把这个对称密钥传给服务器.
- 第⼀组非对称加密的密钥是为了让客户端拿到第二组非对称加密的公钥.