java并发编程笔记（十一）——高并发处理思路和手段
扩容
- 垂直扩容（纵向扩展）：提高系统部件能力
- 水平扩容（横向扩容）：增加更多系统成员来实现
缓存
缓存特征
命中率：命中数/（命中数+没有命中数）
一、影响因素
- 业务场景和业务需求
- 缓存的设计（粒度和策略）
- 缓存的容量和基础设施
二、缓存分类和应用场景
- 本地缓存：编程实现（成员变量，局部变量，静态变量）、Guava Cache
- 分布式缓存：Memcache、Redis
三、常用组件
-
Guava Cache
public class GuavaCacheExample1 { public static void main(String[] args) { LoadingCache<String, Integer> cache = CacheBuilder.newBuilder()
.maximumSize(10) // 最多存放10个数据
.expireAfterWrite(10, TimeUnit.SECONDS) // 缓存10秒
.recordStats() // 开启记录状态数据功能
.build(new CacheLoader<String, Integer>() {
@Override
public Integer load(String key) throws Exception {
return -1;
}
}); log.info("{}", cache.getIfPresent("key1")); // null
cache.put("key1", 1);
log.info("{}", cache.getIfPresent("key1")); // 1
cache.invalidate("key1");
log.info("{}", cache.getIfPresent("key1")); // null try {
log.info("{}", cache.get("key2")); // -1
cache.put("key2", 2);
log.info("{}", cache.get("key2")); // 2 log.info("{}", cache.size()); // 1 for (int i = 3; i < 13; i++) {
cache.put("key" + i, i);
}
log.info("{}", cache.size()); // 10 log.info("{}", cache.getIfPresent("key2")); // null Thread.sleep(11000); log.info("{}", cache.get("key5")); // -1 log.info("{},{}", cache.stats().hitCount(), cache.stats().missCount()); log.info("{},{}", cache.stats().hitRate(), cache.stats().missRate());
} catch (Exception e) {
log.error("cache exception", e);
}
}
} Memcache
Redis
**最大元素（空间）：缓存大小 **
清空策略：FIFO、LFO、LRU、过期时间，随机等
FIFO: 先进先出策略
LFO:最少使用策略
LRU:最近最少使用策略
高并发场景下缓存常见问题
缓存一致性
造成这种问题的场景：
- 更新数据库成功--更新缓存失败--数据不一致
- 更新缓存成功--更新数据库失败--数据不一致
- 更新数据库成功--淘汰缓存失败--数据不一致
- 淘汰缓存成功--更新数据库失败--查询缓存miss
缓存并发问题
同时大量请求访问缓存未命中，然后大量请求同时访问数据库造成数据库压力增大，解决办法是加锁，避免同时执行
缓存穿透问题
某个查询结果为空，导致缓存为存储，因此大量请求会去查询数据库，造成对数据库的压力大增
解决办法：
1、缓存空对象，缓存时间要短，适合命中率不高，但是需要频繁修改的数据
2、进行单独过滤处理，对所有可能结果为空的请求进行统一存放，并且对请求进行拦截，避免请求到数据库对数据库造成大量压力
缓存雪崩现象
导致原因：缓存并发，缓存穿透等
解决办法：过期时间设置随机数，避免同时失效10
消息队列
特性
- 业务无关：只做消息分发
- FIFO：先投递先到达
- 容灾：节点的动态增加和消息的持久化
- 性能：吞吐量提升，系统内部通信效率提高
为什么需要消息队列
- 【生产和消费】的速度或稳定性等因素不一致
消息队列的好处
- 业务解耦
- 最终一致性
- 广播
- 错峰和流控
举例
- Kafka
- RabbitMQ
应用拆分
拆分原则
- 业务优先
- 循序渐进
- 兼顾技术：重构、分层
- 可靠测试
需要考虑的问题
- 应用之间的通信：RPC（dubbo等）、消息队列
- 应用之间数据数据库设计：每个应用都有独立的数据库
- 避免事务操作跨应用
通信工具
- dubbo
- springCloud
应用限流
常用限流算法
计数器法
滑动窗口法
漏桶算法
-
令牌桶算法（Guava RateLimit）
@Slf4j
public class RateLimiterExample1 { private static RateLimiter rateLimiter = RateLimiter.create(5); public static void main(String[] args) throws Exception { for (int index = 0; index < 100; index++) {
if (rateLimiter.tryAcquire(190, TimeUnit.MILLISECONDS)) {
handle(index);
}
}
} private static void handle(int i) {
log.info("{}", i);
}
}@Slf4j
public class RateLimiterExample2 { private static RateLimiter rateLimiter = RateLimiter.create(5); public static void main(String[] args) throws Exception { for (int index = 0; index < 100; index++) {
rateLimiter.acquire();
handle(index);
}
} private static void handle(int i) {
log.info("{}", i);
}
}Guava RateLimiter是单机版的限流
如果是分布式可以采用 分布式限流：
可以采用Redis作为中间组件，使用Redis的incrby key num 方法
服务降级与服务熔断
服务降级
- 自动降级：超时、失败次数、故障、限流
- 人工降级：秒杀、双11大促
服务熔断
总结
共性：目的、最终表现、粒度、自治
区别：
- 触发原因、管理目标层次、实现方式
服务降级要考虑的问题
- 核心服务、非核心服务
- 是否支持降级、降级策略
- 业务放通场景，策略
Hystrix
- 在通过第三方客户端访问（通常是通过网络）依赖服务出现高延迟或者失败时，为系统提供保护和控制。
- 在分布式系统中防止级联失败
- 快速失败（fail fast）同时能快速恢复
- 提供失败回退（Fallback）和优雅的服务降级机制
- 提供近实时的监控、报警和运维控制手段
数据库切库、分库、分表
数据库瓶颈
- 单个库数据量太大（1T~2T）:多个库
- 单个数据库服务器压力过大、读写瓶颈：多个库
- 单个表数据量过大:分表
数据库切库
切库的基础及实际运用：读写分离
自定义注解完成数据库切库-代码实现
支持多数据源、分库
数据库支持多个数据源-代码实现
数据库分表
- 什么时候考虑分表
- 横向（水平）分表和纵向（垂直）分表
- 数据库分表:mybatis分表插件shardbatis2.0
高可用的一些手段
- 任务调度系统分布式：elastic-job+zookeeper
- 主备切换：apache curator + zookeeper分布式锁实现
- 监控报警机制