服务器端开发技术

时间:2023-01-21 17:45:28

1. 多进程或多线程模型

多进程服务器:Apache,Nginx,lighttpd等服务器均为多进程模型,分为Master进程和Woker进程

多进程的优点:更强的容错性 - 一个进程挂掉不会导致整个系统崩溃,更好的多核可伸缩性 - 进程的使用将许多内核资源(如地址空间,页表,打开的文件)隔离,在多核系统上的可伸缩性强于多线程程序。

多线程服务器:Tomcat,Netty等服务器均为多线程模型,分为网络IO线程和业务线程。

多线程的优点:提高响应速度,让 IO 计算相互重叠,降低latency。 虽然多线程不能提高绝对性能,但能提高平均响应性能。

 

2. 服务器端网络模型

Linux:select/poll/epoll模型

Java: :BIO/NIO模型

 

3. 同步/异步模型

同步:典型的BIO模型,每个线程处理单个连接的网络数据读写和业务逻辑

异步::典型的NIO模型,单个线程可以管理多个网络连接,网络事件驱动

同步和异步所关注的消息如何通知的机制,而不是处理消息的机制.也就是说,同步的情况下,是由处理消息者自己去等待消息是否被触发,而异步的情况下是由触发机制来通知处理消息者

阻塞和非阻塞很好区别,所谓阻塞就是系统调用完成时才返回,被阻塞的进程处于睡眠状态。非阻塞是指不管系统调用是否完成都立刻返回,不会导致进程挂起。 

 

异步化的三个层次

Socket数据传输的异步化(NIO)

Http请求的异步化(Jetty Continuation,Servlet 3)

Work业务逻辑的异步化(Future, Callable, Runnable)

 

4. 进程间通信与线程间通信

多线程并发环境下,本质上要解决地是这两个问题:线程之间如何通信、线程之间如何同步。

Linux进程间通信手段:FIFO、POSIX 消息队列、共享内存、信号(signals) 、管道(pipe)、套接字(socket)等等

Linux多线程同步原语:互斥器(mutex)、条件变量(condition variable)、读

写锁(reader-writer lock)、文件锁(Record locking)、信号量(Semaphore) 等

Java平台上提供的多线程同步和通信机制

Java多线程通信及同步:wait/notify机制、synchronized关键字、Lock锁、Condition条件变量、Semaphore信号量、Atomic原子类、CyclicBarrier、CountDownLatch等等

 

5. 消息协议设计

TLV编码及其变体:Protobuf/thrift/ASNBER都属于这种。

文本流编码:XML/JSON都属于这种。

固定结构编码:TCP/IP即属于这种。

混合结构编码:固定结构+文本协议

 

6. 协程模型

一个请求的处理过程其实是需要消耗一个原生线程的,协程的好处其实就是做到真正的复用线程,避免在做等待等动作时仍然占据着线程。当然,协程只有量大的情况下才能体现出优势,从每请求一个线程的时代不如多请求共用线程,充分发挥CPU的能力,避免消耗在无谓的切换上。

协程与线程的区别在于,协程的上下文切换是在完全在用户态,由语言的runtime或者是库来完成的。而线程上下文切换则是操作系统来完成的。

在Java中实现协程的框架有Kilim,Kilim执行一项任务创建Task,使用Task的暂停机制,而不是Thread,Kilim承担了线程调度以及上下切换动作,Task相对于原生Thread而言就轻量级多了,且能更好利用CPU。Kilim带来的是线程使用率的提升,但同时由于要在JVM堆中保存Task上下文信息,因此在采用Kilim的情况下要消耗更多的内存。