项目组件:(Json\Muduo)
Json
- json 采用完全独立于编程语言的文本格式存储、表示数据:可以跨编程语言进行json在网络上的数据通信传输,以开发语言的方式序列化json、由接受主机可识别的语言反序列化json
- json 底层以链式哈希表存储无序的key_value 键值对
- json 可以序列化STL容器:直接将C++ STL 中的容器格式下的数据,直接存储为json格式对象进行序列化传输、反序列化接受为STL容器格式下的数据对象
- 在使用中可以通过json 标识 type键 储存json消息的类型,区分功能服务:注册业务、登陆业务、聊天、添加、群组等消息类型
- 网络TCP发送的都是字节流,所以对于这样的消息结构,我们要进行数据的序列化(转成json字节流发送到网络)和反序列化(远端接收到字节流,上报给应用,应用把json字节流反序列化成这样的消息结构)
- 序列化:json 对象 序列化为 json 字符
- 反序列化:json 字符 反序列化为 json 对象
整个代码由一个头文件组成 json.hpp,没有子项目,没有依赖关系,没有复杂的构建系统,使用起来非常方便
Muduo:
muduo网络库底层为 Linux epoll + Linux pthread 线程库(所以只能在Linux环境下安装muduo)
在集群聊天服务器项目中,服务器需要处理高并发场景下的客户端连接与消息读写,客户端与服务器一对一无高并发需求
muduo网络库的多线程模型
网络服务器编程常用模型
【方案1】 : accept + read/write 不是并发服务器
【方案2】 : accept + fork - process-pre-connection 适合并发连接数不大,计算任务工作量大于fork进程的开销
【方案3】 :accept + thread thread-pre-connection 创建线程较进程开销小了一点,但是并发造成线程堆积过多
【方案4】: muduo的网络设计:reactors in threads - one loop per thread,方案的特点是一个线程一个事件循环。
一个Base thread负责accept新的连接,接收到新的连接以后,使用轮询的方式在reactor pool中找到合适的sub reactor将这个连接挂载上去,这个连接上的所有任务都在这个sub reactor上完成。多个连接可能被分派到多个线程中,以充分利用CPU、Reactor poll的大小是固定的,根据CPU的数目确定。如果有过多的耗费CPU I/O的计算任务,可以提交到创建的ThreadPool线程池中专门处理耗时的计算任务。
【方案5】 : reactors in process - one loop pre processnginx,服务器的网络模块设计,基于进程设计,采用多个Reactors充当I/O进程和工作进程,通过一把accept锁,完美解决多个Reactors的“惊群现象”。
线程的数量和CPU的核数对等,做到高并发。I/O复用的好处就是一个线程可以监听多个套接字。对于连接量大活跃量少的场景。
工作线程会单独开一个线程做耗时的I/O操作,传送文件,音频之类的,这样当前的工作线程就可以及时做其他的依然注册在epoll上的socket的读写事件。
muduo 网络库的使用:
/*
muduo网络库给用户提供了两个主要的类
TcpServer: 用于编写服务器程序的
TcpClient: 用于编写客户端程序的
epoll + 线程池
好处:能够把网络I/O的代码和业务代码区分开
业务代码就是:用户的连接和断开,用户的可读写事件
我们只需要关注业务代码,什么时候发生和如何监听这些事情的发生由muduo库去做
*/
#include <muduo/net/TcpServer.h>
#include <muduo/net/EventLoop.h>//事件循环
#include <iostream>
#include <functional>//绑定器
#include <string>
using namespace std;
using namespace muduo;
using namespace muduo::net;
using namespace placeholders;
//muduo的名字空间作用域
/*
基于muduo网络库开发服务器程序
步骤如下:
1.组合TcpServer对象
2.创建EventLoop事件循环对象的指针
3.明确TcpServer构造函数需要什么参数,输出ChatServer的构造函数
4.在当前服务器类的构造函数当中,注册处理连接的回调函数和处理读写时间的回调函数
5.设置合适的服务端线程数量,muduo库会自己分配I/O线程和worker线程
*/
class ChatServer//TCPServer
{
public:
ChatServer(EventLoop *loop, //事件循环
const InetAddress &listenAddr, //muduo封装好的,绑定IP+Port
const string &nameArg)//给TCPserver一个名字
: _server(loop, listenAddr, nameArg), _loop(loop)//没有默认构造哦
{
//给服务器注册用户连接的创建和断开的回调,回调就是对端的相应事件发生了告诉网络库 ,然后网络库告诉我 ,我在回调函数开发业务
_server.setConnectionCallback(std::bind(&ChatServer::onConnection, this, _1));//绑定this对象到这个方法中,_1是参数占位符
//给服务器注册用户读写事件的回调
_server.setMessageCallback(std::bind(&ChatServer::onMessage, this, _1, _2, _3));//绑定this对象到这个方法中
//设置服务器端的线程数量 1个I/O线程(监听新用户的连接事件), 3个worker线程
//不设置的话,就1个线程而已,要处理连接又要处理业务
_server.setThreadNum(4);//设置4个线程,1个I/O线程,3个worker线程
}
void start()//开启事件循环
{
_server.start();
}
private:
//专门处理:用户的连接创建和断开 epoll listenfd accept
//如果有新用户的连接或者断开,muduo库就会调用这个函数
void onConnection(const TcpConnectionPtr &conn)
{
if (conn->connected())//连接 , peerAddress()对端的地址 localAddress() 本地的地址
{
cout << conn->peerAddress().toIpPort() << " -> " << conn->localAddress().toIpPort() << " state:online" << endl;
}
else//断开
{
cout << conn->peerAddress().toIpPort() << " -> " << conn->localAddress().toIpPort() << " state:offline" << endl;
conn->shutdown();//相当于这些close(fd)
//_loop->quit();
}
}
//专门处理:用户的读写事件,muduo库去调用这个函数
void onMessage(const TcpConnectionPtr &conn, //连接,通过这个连接可以读写数据
Buffer *buffer, //缓冲区,提高数据收发的性能
Timestamp time) //接收到数据的时间信息
{
string buf = buffer->retrieveAllAsString();//收到的数据放到这个字符串中
cout << "recv data:" << buf << " time:" << time.toFormattedString() << endl;
conn->send(buf);//返回 ,收到什么发送什么
}
TcpServer _server;//第一步
EventLoop *_loop; //第二步相当于 epoll 事件循环的指针,有事件发生,loop上报
};
int main()
{
EventLoop loop;//相当于像是创建了epoll
InetAddress addr("127.0.0.1", 6000);//IP地址,端口号
ChatServer server(&loop, addr, "ChatServer");
server.start();//listenfd通过 epoll_ctl 添加到 epoll
loop.loop();//相当于epoll_wait,以阻塞方式等待新用户连接,已连接用户的读写事件等
}