Dubbo学习笔记6:Dubbo增强SPI与SPI中扩展点自动包装的实现原理

时间:2022-08-19 13:39:08

在Dubbo整体架构分析中介绍了Dubbo中除了Service和Config层为API外,其他各层均为SPI,为SPI意味着下面各层都是组件化可以被替换的,也就是扩展性比较强,这也是Dubbo比较好的一点。

JDK中标准SPI原理

Dubbo增强的SPI功能是从JDK标准SPI演化而来的,所以有必要先讲讲标准SPI的原理。

JDK中的SPI(Service Provider Interface)是面向接口编程的,服务规则提供者会在JRE的核心API里面提供服务访问接口,而具体实现则由其他开发商提供。

例如规范制定者在rt.jar包里面定义了数据库的驱动接口java.sql.Driver。那么MySQL实现的开发商则会在MySQL的驱动包的META-INF文件夹下建立名称为java.sql.Driver的文件,文件内容就是MySQL对java.sql.Driver接口的实现类,如下图:

Dubbo学习笔记6:Dubbo增强SPI与SPI中扩展点自动包装的实现原理

如下代码可知 com.mysql.jdbc.Driver 就是实现了 java.sql.Driver 接口:

public class com.mysql.jdbc.Driver extends com.mysql.jdbc.NonRegisteringDriver implements java.sql.Driver

上面讲解了如何使用SPI扩展自定义自己的实现,下面来说说SPI实现原理,我们知道Java核心API,比如 rt.jar 包,是使用 Bootstrap ClassLoader 类加载器加载的,而用户提供的Jar包是由Appclassloader加载。并且我们知道如果一个类由类加载器A加载,那么这个类依赖的类也是由相同的类加载器加载。

而用来搜索开发商提供的SPI扩展实现类的API类(ServiceLoader)是使用 Bootstrap ClassLoader加载的,那么ServiceLoader里面依赖的类应该也是由 Bootstrap ClassLoader 来加载,那么ServiceLoader里面依赖的类应该也是由 Bootstrap ClassLoader 来加载。而上面说了用户提供的包含SPI实现类的Jar包是由 Appclassloader加载,所以需要一种违反双亲委派模型的方法,线程上下文类加载器 ContextClassLoader 就是为了解决这个问题。

下面我们写个测试代码,看看具体是如何工作了。

public static void main(String[] args){
// (1)
ServiceLoader<Driver> loader = ServiceLoader.load(Driver.class);
// (2)
Iterator<Driver> iterator = loader.iterator();
while(iterator.hasNext()){
Driver driver = (Driver)iterator.next();
// (3)
System.out.println("driver:" + driver.getClass() + ",loader:"+driver.getClass().getClassLoa
der());
//(4)
System.out.println("ServiceLoader loader:" + ServiceLoader.class.getClassLoader());
}

然后引入MySQL驱动的Jar包,执行结果如下。

driver:class com.mysql.jdbc.Driver , loader:sun.misc.Launcher$AppClassLoader@4554617c
current thread contextloader:sun.misc.Launcher$AppClassLoader@4554617c
ServiceLoader loader:null

从结果可知找到了MySQL的驱动,如果你在引入Oracle驱动的Jar包后再运行,则会输出找到了MySQL和Oracle的驱动,这也说明了,JDK标准的SPI会同时把SPI接口的所有实现类都提前加载好。

另外从执行结果可以知道 ServiceLoader 的加载器 Bootstrap ,因为这里输出了null,并且从该类在 rt.jar 里面,也可以证明。

下面我们来看下 ServiceLoader 的 load 方法源码。

public final class ServiceLoader<S> implements Iterable<S>{
public static <S> ServiceLoader<S> load(Class<S> service){
// (5) 获取当前线程上下文加载器
ClassLoader cl = Thread.currentThread().getContextClassLoader();
return ServiceLoader.load(service,cl);
} public static <S> ServiceLoader<S> load(Class<S> service,ClassLoader loader){
return new ServiceLoader<>(service,loader);
} // (6)
private ServiceLoader(Class<S> svc,ClassLoader cl){
service = svc;
loader = cl;
reload();
}
}

代码(5)获取了当前线程上下文加载器,这里是AppClassLoader。

代码(6)传递该类加载器到新构造的ServiceLoader的成员变量loader。那么这个loader什么时候使用的呢?下面我们看下LazyIterator的next()方法。

public S next(){
if(acc == null){
return nextService();
}else{
PrivilegedAction<S> action = new PrivilegedAction<S>(){
public S run(){return nextService();}
}
return AccessController.doPrivileged(action,acc);
}
}
private S nextService(){
...
try{
// (7) 使用loader类加载器加载
c = Class.forName(cn,false,loader);
}catch(ClassNotFoundException x){
fail(service,"Provider "+cn+" not found");
}
...
}

代码(7)使用loader也就是AppClassLoader加载具体的驱动实现类。至于cn是怎么来的,读者可以参见 LazyIterator 的 hasNext() 方法。

Dubbo增强SPI的实现

Dubbo的扩展点加载机制是基于JDK标准的SPI扩展点发现机制增强而来的,Dubbo解决了JDK标准的SPI的以下问题:

  • JDK标准的SPI会一次性实例化扩展点所有实现,如果由扩展点实现初始化很耗时,但如果没用上也加载,会很浪费资源。
  • 如果扩展点加载失败,就失败了,给用户没有任何通知。比如:JDK标准的ScriptEngine,如果Ruby ScriptEngine因为所依赖的jruby.jar不存在,导致Ruby ScriptEngine类加载失败,这个失败原因被吃掉了,当用户执行ruby脚本时,会报空指针异常,而不是报Ruby ScriptEngine不存在。
  • 增加了对扩展点IoC和AOP的支持,一个扩展点可以直接setter注入其他扩展点,也可以对扩展点使用wrapper类进行增强。

本节我们结合服务提供者配置类ServiceConfig来讲解如何使用增强SPI加载扩展接口Protocol实现类,在ServiceConfig类中,有如下代码:

public class ServiceConfig<T> extends AbstractServiceConfig{
private static final long serialVersionUID = 3033787999037024738L; private static final Protocol protocol = ExtensionLoader.getExtensionLoader(Protocol.class).getAdaptiveExtension();
...
}

首先SPI扩展接口Protocol的接口定义如下:

@SPI("dubbo")
public interface Protocol{
int getDefaultPort(); @Adaptive
<T> Exporter<T> export(Invoker<T> invoker) throws RpcException; @Adaptive
<T> Invoker<T> refer(Class<T> type,URL url) throws RpcException; void destroy();
}

这里ExtensionLoader类似JDK标准SPI里面的ServiceLoader类,代码ExtensionLoader.getExtensionLoader(Protocol.class).getAdaptiveExtension()的作用是获取Protocol接口的适配器类,在Dubbo中每个扩展接口都有一个对应的适配器类,这个适配器类是动态生成的一个类,后面会有讲解如何生成的,这里我们先给出Protocol扩展接口对应的适配器类的代码,如下:

package com.alibaba.dubbo.rpc;
import com.alibaba.dubbo.common.extension.ExtensionLoader;
public class Protocol$Adaptive implements com.alibaba.dubbo.rpc.Protocol {
public void destroy(){
throw new UnsupportedOperationException("method public abstract void com.alibaba.dubbo.rpc.Protocol.destroy() of interface com.alibaba.dubbo.rpc.Protocol is not adaptive method!");
} public int getDefaultPort(){
throw new UnsupportedOperationException("method public abstract int com.alibaba.dubbo.rpc.Protocol.getDefaultPort() of interface com.alibaba.dubbo.rpc.Protocol is not adaptive method!");
} public com.alibaba.dubbo.rpc.Invoker refer(java.lang.Class arg0,com.alibaba.dubbo.common.URL arg1) throws com.alibaba.dubbo.rpc.RpcException{
if(arg1 == null)
throw new IllegalArgumentException("url == null");
com.alibaba.dubbo.common.URL url = arg1;
String extName = (url.getProtocol() == null ? "dubbo" : url.getProtocol);
if(extName == null)
throw new IllegalStateException("Fail to get extension(com.alibaba.dubbo.rpc.Protocol) name from url(" + url.toString() + ") use keys([protocol])");
com.alibaba.dubbo.rpc.Protocol extension = (com.alibaba.dubbo.rpc.Protocol) ExtensionLoader.getExtensionLoader(com.alibaba.dubbo.rpc.Protocol.class).getExtension(extName);
return extension.refer(arg0,arg1);
} public com.alibaba.dubbo.rpc.Exporter export(com.alibaba.dubbo.rpc.Invoker arg0){
...
// (1)
com.alibaba.dubbo.common.URL url = arg0.getUrl();
String extName = (url.getProtocol() == null ? "dubbo" : url.getProtocol());
if(extName == null)
throw new IllegalStateException("Fail to get extension(com.alibaba.dubbo.rpc.Protocol) name from url(" + url.toString() + ") use keys([protocol])");
// (2)
com.alibaba.dubbo.rpc.Protocol extension = (com.alibaba.dubbo.rpc.Protocol)ExtensionLoader.getExtensionLoader(com.alibaba.dubbo.rpc.Protocol.class).getExtension(extName);
// (3)
return extension.export(arg0);
}
}

所以当我们调用 protocol.export(invoker) 方法的时候实际调用的是动态生成的Protocol$Adaptive 实例的 export(invoker) 方法,其内部代码(1)首先获取参数里面的URL对象,然后从URL对象里面获取用户设置的Protocol的实现类的名称,然后调用代码(2)根据名称获取具体的Protocol协议的实现类(后面我们会知道获取的是实现类被使用Wrapper类增强后的类),最后代码(3)具体调用Protocol协议的实现类 export(invoker) 方法。

这里应该清楚的知道适配器类的存在目的就相当一个分发器,根据不同的参数,委托不同的实现类来做指定的事情,Dubbo实现上是把所有的参数封装到一URL对象里面,包含用户配置的参数,比如设置使用什么协议。另外这里也可以知道Dubbo并没有一次性加载所有扩展接口Protocol的实现类,而是根据URL里面协议类型只加载当前使用的扩展实现类。

下面我们结合时序图来讲解ExtensionLoader的getAdaptiveExtension()方法是如何动态生成扩展接口对应的适配器类,以及getExtension方法如何根据扩展实现类的名称找到对应的实现类的:

Dubbo学习笔记6:Dubbo增强SPI与SPI中扩展点自动包装的实现原理

  • 时序图步骤(1)获取当前扩展接口对应的ExtensionLoader对象,在Dubbo中每个扩展接口对应着自己的ExtensionLoader对象,如下代码,内部通过并发Map来缓存扩展接口与对应的ExtensionLoader的映射,其中key为扩展接口的Class对象,value为对应的ExtensionLoader实例:
public static <T> ExtensionLoader<T> getExtensionLoader(class<T> type){
if(type == null)
throw new IllegalArgumentException("Extension type == null");
if(!type.isInterface())
throw new IllegalArgumentException("Extension type(" + type + ") is not interface!");
if(!withExtensionAnnotation(type))
throw new IllegalArgumentException("Extension type(" + type + ") is not extension,because WITHOUT @" + SPI.class.getSimpleName() + " Annotation!");
ExtensionLoader<T> loader = (ExtensionLoader<T>)EXTENSION_LOADERS.get(type);
if(loader == null){
EXTENSION_LOADERS.putIfAbsent(type,new ExtensionLoader<T>(type));
loader = (Extension<T>)EXTENSION_LOADERS.get(type);
return loader;
}
}
private static final ConcurrentMap<Class<?>,ExtensionLoader<?>> EXTENSION_LOADERS = new ConcurrentHashMap<Class<?>,ExtensionLoader<?>>();

可知第一次访问某个扩展接口时候需要new一个对应的ExtensionLoader放入缓存,后面就直接从内存获取。

  • 步骤(2)获取当前扩展接口对应的适配器对象,内部是首先获取该扩展接口所有实现类的Class对象(注意,这里获取的是Class对象,并不是对象实例)。getAdaptiveExtension的代码如下:
@SuppressWarnings("unchecked")
public T getAdaptiveExtension(){
Object instance = cachedAdaptiveInstance.get();
if(instance == null){
if(createAdaptiveInstanceError == null){
sychronized(cachedAdaptiveInstance){
instance = cachedAdaptiveInstance.get();
if(instance == null){
try{
instance = createAdaptiveExtension();
cachedAdaptiveInstance.set(instance);
}catch(Throwable t){
createAdaptiveInstanceError = t;
throw new IllegalStateException("fail to create adaptive instance: " + t.toString(),t);
}
}
}
}else{
throw new IllegalStateException("fail to create adaptive instance:" + createAdaptiveInstanceError.toString(),createAdaptiveInstanceError);
}
}
return (T)instance;
}

如上代码使用双重检查创建cachedAdaptiveInstance对象,接口对应的适配器对象就保存到了这个对象里面。

  • 我们重点看步骤(3)createAdaptiveExtension方法,因为具体创建适配器对象的是这个方法。createAdaptiveExtension代码如下:
private T createAdaptiveExtension(){
try{
return injectExtension((T)getAdaptiveExtensionClass().newInstance());
}catch(Exception e){
throw new IllegalStateException("Can not create adaptive extension " + type + ", cause: " + e.getMessage(),e);
}
}

可知首先调用了步骤(4)getAdaptiveExtensionClass().newInstance()获取适配器对象的一个实例,然后调用步骤(7)injectExtension方法进行扩展点相互依赖注入。下面首先看下步骤(4)getAdaptiveExtensionClass()是如何动态生成适配器类的Class对象的。

private Class<?> getAdaptiveExtensionClass(){
getExtensionClasses();
if(cachedAdaptiveClass != null){
return cachedAdaptiveClass;
}
return cachedAdaptiveClass = createAdaptiveExtensionClass();
}

如上代码首先调用了步骤(5)getExtensionClasses获取了该扩展接口所有实现类的class对象,然后调用了步骤(6)createAdaptiveExtensionClass创建具体的适配器对象的Class对象,createAdaptiveExtensionClass代码如下:

private Class<?> createAdaptiveExtensionClass(){
String code = createAdaptiveExtensionClassCode();
ClassLoader classLoader = findClassLoader();
com.alibaba.dubbo.common.compiler.Compiler compiler = ExtensionLoader.getExtensionLoader(com.alibaba.dubbo.common.compiler.Compiler.class).getAdaptiveExtension();
return compiler.compile(code,classLoader);
}

其中createAdaptiveExtensionClassCode方法是关键,该方法根据扩展接口生成其对应的适配器类的字符串代码,这里是根据protocol接口的代码生成对应的Protocol$Adaptive的字符串代码存放到变量code中,然后默认调用JavassistCompiler的compile(code,classLoader)根据字符串代码生成适配器的Class对象并返回,然后通过getAdaptiveExtensionClass对象并返回,然后通过getAdaptiveExtensionClass().newInstance()创建适配器类的一个对象实例。至此扩展接口的适配器对象已经创建完毕。

  • 下面我们在步骤(7)前面看看步骤(5)getExtensionClasses如何加载扩展接口的所有实现类的Class对象。其内部最终调用了loadExtensionClasses方法进行加载,loadExtensionClasses代码如下:
private Map<String,Class<?>> loadExtensionClasses(){
// 获取扩展接口上SPI注解
final SPI defaultAnnotation = type.getAnnotation(SPI.class);
// 是否存在注解
if(defaultAnnotation != null){
String value = defaultAnnotation.value();
if(value != null && (value = value.trim()).length() > 0){
String[] names = NAME_SEPARATOR.split(value);
if(name.length > 1){
throw new IllegalStateException("more than 1 default extension name on extension " + type.getName() + ":" + Arrays.toString(names));
}
// 默认实现类的名称放到cachedDefaultName
if(names.length == 1) cachedDefaultName = names[0];
}
}
// 在指定目录的jar里面查找扩展点
Map<String,Class<?>> extensionClasses = new HashMap<String,Class<?>>();
loadFile(extensionClasses,DUBBO_INTERNAL_DIRECTORY); // META/dubbo/internal/
loadFile(extensionClasses,DUBBO_DIRECTORY); // META-INF/dubbo/
loadFile(extensionClasses,SERVICES_DIRECTORY); // META-INF/services/
return extensionClasses;
}

如上代码,拿Protocol协议来说,这里SPI注解为 @SPI("dubbo") ,那么这里 cachedDefaultName 就是Dubbo。然后 META-INF/dubbo/internal/ 、 META-INF/dubbo 、 META-INF/services/ 目录下去加载具体的扩展实体类,比如Protocol协议默认实现类如下:

Dubbo学习笔记6:Dubbo增强SPI与SPI中扩展点自动包装的实现原理

  • 步骤(7)injectExtension方法进行扩展点实现类相互依赖自动注入:
private T injectExtension(T instance){
try{
if(objectFactory != null){
// 遍历扩展点实现类所有的方法
for(Method method : instance.getClass().getMethods()){
// 当前方法public的set方法,并且只有一个入参
if(method.getName().startsWith("set") && method.getParameterTypes().length == 1 && Modifier.isPublic(method.getModifiers())){
// 获取参数类型
Class<?> pt = method.getParameterTypes()[0];
try{
String property = method.getName().length() > 3 ? method.getName().substring(3,4).toLowerCase + method.getName().substring(4) : "";
// 如果是则反射调用set方法
if(object != null){
method.invoke(instance,object);
}
}catch(Exception e){
logger.error("fail to inject via method " + method.getName() + " of interface " + type.getName() + ":" + e.getMessage() , e);
}
}
}
}
}catch(Exception e){
logger.error(e.getMessage() , e);
}
return instance;
}

Dubbo增强SPI中扩展点自动包装的实现原理

在Spring AOP中我们可以使用多个切面对指定类的方法进行增强,在Dubbo中也提供了类似的功能,在Dubbo中你可以指定多个Wrapper类对指定的扩展点的实现类的方法进行增强。

上节讲下面的调用代码时实际调用的是适配器 Protocol$Adaptive 的 export 方法,如果URL对象里面的 protocol 为 dubbo,那么在没有扩展点自动包装时,protocol.export返回的就是DubboProtocol的对象。

Exporter<?> exporter = protocol.export(wrapperInvoker);

而真正情况下Dubbo里面使用了ProtocolFilterWrapper、ProtocolListenerWrapper等Wrapper类对DubboProtocol对象进行了包装增强。

ProtocolFilterWrapper、ProtocolListenerWrapper、DubboProtocol三个类都有一个拷贝构造函数,这个拷贝构造函数的参数就是扩展接口Protocol,所谓包装是指下面意思:

public class XxxProtocolWrapper implements Protocol{
private Protocol impl;
public XxxProtocolWrapper(Protocol protocol){
impl = protocol;
}
public void export(){
// ...在调用DubboProtocol的export前做些事情
impl.export();
// ...在调用DubboProtocol的export后做些事情
}
...
}

比如这里会进行两次包装,第一次可能首先使用ProtocolListenerWrapper类对DubboProtocol进行包装,这时候ProtocolListenerWrapper类里面的impl就是DubboProtocol,然后第二次使用 ProtocolFilterWrapper 对 ProtocolListenerWrapper进行包装,也就是ProtocolFilterWrapper里面的impl是ProtocolListenerWrapper,那么这时候调用适配器Protocol$Adaptive的export方法,如果URL对象里面的protocol为dubbo,那么在没有扩展点自动包装时候,这时候 protocol.export 返回的就是 ProtocolFilterWrapper的实例了。

下面我们看下Dubbo增强的SPI中如何去收集的这些包装类,以及如何实现的使用包装类对SPI实现类的自动包装。

借用上节的时序图,其实代码(5)getExtensionClasses 里面的 loadFile 方法除了加载扩展接口的所有实现类的Class对象外还对包装类(wrapper类)进行了收集,具体代码如下:

private void loadFile(Map<String,Class<?>> extensionClasses,String dir){
String fileName = dir + type.getName();
try{
...
if(urls != null){
while(urls.hasMoreElements()){
java.net.URL url = urls.nextElement();
try{
BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream(),"utf-8"));
try{
String line = null;
while((line = reader.readLine()) != null){
...
if(line.length() > 0){
try{
...
if(line.length() > 0){
...
}else{
// (I) 这里判断SPI实现类是否有扩展接口为参数的拷贝构造函数
try{
clazz.getConstructor(type);
Set<class<?>> wrappers = cachedWrapperClasses;
if(wrappers == null){
cachedWrapperClasses = new ConcurrentHashset<Class<?>>();
wrappers = cachedWrapperClasses;
}
wrappers.add(clazz);
}catch(NoSuchMethodException e){
...
}
}
}catch(Throwable t){
...
}
}
} // end of while read lines
} finally {
reader.close();
}
}catch(){
...
}
} // end of while urls
}
}catch(Throwable t){
...
}
}

如上代码(I)处调用 clazz.getConstructor(type),这里是判断SPI实现类clazz是否有扩展接口 type 为参数的拷贝构造函数,如果没有直接抛异常 NoSuchMethodException,该异常被catch掉了,如果有则说明clazz类为wrapper类,则收集起来放入到 cachedWrapperClasses集合,到这里wrapper类的收集已经完毕。

而具体对扩展实现类使用收集的wrapper类进行自动包装是在 createExtension 方法里做的:

private T createExtension(String name){
...
try{
// cachedWrapperClasses里面有元素,即为wrapper类
Set<Class<?>> wrapperClasses = cachedWrapperClasses;
if(wrapperClasses != null && wrapperClasses.size() > 0){
// 使用循环一层层对包装类进行包装,可以参考上面讲解的使用 ProtocolFilterWrapper / ProtocolListenerWrapper对DubboProtocol进行包装的流程
for(Class<?> wrapperClass : wrapperClasses){
instance = injectExtension((T)wrapperClass.getConstructor(type).newInstance(instance));
}
}
return instance;
}catch(Throwable t){
        ...
}
}