《即时消息技术剖析与实战》学习笔记12——IM系统如何提升图片、音视频消息发送、浏览的体验

时间:2024-01-26 13:33:33

IM系统如何提升用户发送、浏览图片和音视频消息的体验呢?一是保证图片、音视频消息发送得又快又稳,二是保证用户浏览播放图片、音视频消息时流畅不卡顿。

一、提升用户发送图片、音视频的体验

1. 多上传接入点

针对不同的主流运营商提供不同的上传接入点 IP,然后通过运营商 DNS 解析,让用户能通过本运营商的上传接入点来快速上传图片和视频;后端的图片上传存储服务也可以部署在多线机房,这样上传服务也能快速地把文件流提交给存储层,从而避免从接入点到存储服务的跨网开销,也能解决其他运营商的用户下载图片时需要跨网的问题。

对于拥有多机房的公司,也可以只把上传存储服务部署在单线机房,然后再通过专线解决多个单线机房之间的访问。

2. 上传链路优化

把多媒体消息上传通道和普通消息收发通道独立开。

  • 图片、视频

发送图片、视频这样的多媒体消息时,先通过独立通道上传文件流,上传完成后会返回文件的唯一标识 ID,然后再把这个唯一标识 ID 作为消息的引用,通过普通消息收发通道进行发送。

  • 语音

对于语音这样的消息,通过普通消息收发的长连通道来分片上传语音流,更方便通过长连来下推给接收方,避免用户在播放语音时需要从远程临时下载文件,使用流畅度会更好。

3. 分片上传、断点续传和秒传

二、提升用户浏览图片、播放视频的体验

1. CDN 加速

不用多说,我们都知道 CDN 的作用是让资源离用户更近。

  • CDN 加速

CDN 加速主要采取“拉模式”的策略。客户端上传的图片、音视频发布到多个分布在各地的 CDN 节点的服务器上,当有用户需要访问这些图片和音视频时,能够通过 DNS 负载均衡技术,根据用户来源就近访问 CDN 节点中缓存的图片和音视频消息,如果 CDN 节点中没有需要的资源,会先从源站同步到当前节点上,再返回给用户。

  • CDN 预热

在上面提到:如果 CDN 节点中没有需要的资源,会先从源站同步到当前节点上,再返回给用户。但如果是超高热度的大型聊天室,可能用户就近访问的节点没有需要的资源,则高并发的请求都被回源到源站,会对源站的带宽和存储带来很大的压力。

针对这个问题,可以采用“预热”的方式,来提前强制 CDN 节点回源并获取最新文件,减轻源站的压力,提高资源的访问效率。

2. 下载性能优化

图片

  • 分辨率自适应

比如服务器对图片生成几种常见的低分辨率缩略图,用户点开时,根据终端的分辨率按需下载,“查看原图”时再去加载大图,这样可以提升加载速度。

  • 格式优化

将上传的图片转为 WebP 或渐进式 JPEG 格式。

前者可以在保持相同质量的前提下,比同样的 PNG 或 JPEG 图片小 30% 左右,但在 iOS 系统上的支持性不太好,需要一定的开发成本;

后者能够在加载图像时提供低分辨率的“预览”,节省数据流量,提升图像加载速度,加载体验更好,但渐进式 JPEG 编码比传统基线 JPEG 的编码速度慢了 60%,需要权衡性能和成本的平衡。

视频

  • 边下边播

在播放器下载完视频的格式信息、关键帧等信息后,播放器就可以开始播放,同时结合 HTTP 协议自带支持的 Range 头按需分片获取后续的视频流,从而来实现边下边播和拖动快进。

边下边播需要服务端支持 Range 分片获取。

  • 视频预加载

对视频流进行“部分提前加载”,也就是所谓的“秒开”,可以提升用户的体验。

预加载可以按时间或者大小来限制。比如,我们可以设定预加载 3s 的视频流,或者设定预加载 512KB 的视频流。

  • 视频转码

主流的视频格式采用 H.264 编码,H.265 是 2013 年新制定的视频编码标准。同样的画质和同样的码率,H.265 比 H.264 占用的存储空间要少 50%,但编码复杂度远高于 H.264(10 倍左右)。

因此在实现时,只选取部分热点视频来进行 H.265 编码,降低转码开销的同时来尽量提升 H.265 视频的覆盖度。

3. 推流

借助即时消息自身的“长连接”通道,将音频流、图片或视频的缩略图推送下去,这样就不会因为需要临时从服务端获取而出现卡顿了,减少加载耗时,提升用户体验。

三、保障用户发送图片、音视频的安全性

1. CDN文件访问鉴权

用户通过上传服务,把视频上传到服务端;服务端进行视频的 HLS 切片并针对切完的 TS 文件流进行加密,同时把密钥存储到密钥服务中。

当有用户请求该视频时,CDN 节点从源站回源加密的视频文件,播放器先通过下载的 M3U8 索引文件获取到“密钥地址”。

客户端缓存的认证 Token 拼接到该“密钥地址”后面,再通过该地址请求鉴权服务,鉴权服务检查携带的认证 Token 是否有权限访问该视频文件。

如果权限没问题,会从密钥存储服务中将该视频的密钥文件返回给播放器,这时播放器就能自动解密播放了。

2. 时间戳防盗链

HLS 仅支持视频的加解密操作,不支持图片等其他格式的资源。针对其他格式的资源,可以采用“时间戳防盗链”的方案。

Token防盗链通过对时间有关的字符串进行签名,将时间,签名信息通过一定的方式传递给CDN节点服务器作为判断依据,CDN 节点则会根据 URL 的加密形式,取出对应的过期时间,和当前服务器时间进行比较,确认请求是否过期,过期的话,则直接拒绝;如果时间未过期,CDN 节点将根据约定的签名算法和密文,计算后的值和 URL 中的原始加密串进行比较;通过之后,请求会被认为是合法的。不合法的请求可以采取禁止访问或其他操作。