docker-compose 部署 Apollo 自定义环境的详细教程

时间:2022-04-13 03:45:41

apollo 配置中心是什么:

​ apollo是携程框架部门研发的开源配置管理中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性。

apollo的特性

  • 统一管理不同环境、不同集群的配置

apollo提供了一个统一界面集中式管理不同环境(environment)、不同集群(cluster)、不同命名空间(namespace)的配置。
同一份代码部署在不同的集群,可以有不同的配置,比如zookeeper的地址等
通过命名空间(namespace)可以很方便地支持多个不同应用共享同一份配置,同时还允许应用对共享的配置进行覆盖

  • 配置修改实时生效(热发布)

用户在apollo修改完配置并发布后,客户端能实时(1秒)接收到最新的配置,并通知到应用程序

  • 版本发布管理

所有的配置发布都有版本概念,从而可以方便地支持配置的回滚

  • 灰度发布

支持配置的灰度发布,比如点了发布后,只对部分应用实例生效,等观察一段时间没问题后再推给所有应用实例

  • 权限管理、发布审核、操作审计

应用和配置的管理都有完善的权限管理机制,对配置的管理还分为了编辑和发布两个环节,从而减少人为的错误。
所有的操作都有审计日志,可以方便地追踪问题

  • 客户端配置信息监控

可以在界面上方便地看到配置在被哪些实例使用

  • 提供java和.net原生客户端

.net的原生客户端,方便应用集成
同时提供了http接口,非java和.net应用也可以方便地使用

  • 提供开放平台api

apollo自身提供了比较完善的统一配置管理界面,支持多环境、多数据中心配置管理、权限、流程治理等特性。不过apollo出于通用性考虑,不会对配置的修改做过多限制,只要符合基本的格式就能保存,不会针对不同的配置值进行针对性的校验,如数据库用户名、密码,redis服务地址等
对于这类应用配置,apollo支持应用方通过开放平台api在apollo进行配置的修改和发布,并且具备完善的授权和权限控制

  • 部署简单

配置中心作为基础服务,可用性要求非常高,这就要求apollo对外部依赖尽可能地少
目前唯一的外部依赖是mysql,所以部署非常简单,只要安装好java和mysql就可以让apollo跑起来
apollo还提供了打包脚本,一键就可以生成所有需要的安装包,并且支持自定义运行时参数

客户端架构

docker-compose 部署 Apollo 自定义环境的详细教程

架构和模块

docker-compose 部署 Apollo 自定义环境的详细教程

一:config service提供配置的读取、推送等功能,服务对象是apollo客户端

  • 提供配置获取接口
  • 提供配置更新推送接口(基于http long polling)

服务端使用spring deferredresult实现异步化,从而大大增加长连接数量
目前使用的tomcat embed默认配置是最多10000个连接(可以调整),使用了4c8g的虚拟机实测可以支撑10000个连接,所以满足需求(一个应用实例只会发起一个长连接)。

  • 接口服务对象为apollo客户端

二:admin service提供配置的修改、发布等功能,服务对象是apollo portal(管理界面)

  • 提供配置管理接口
  • 提供配置修改、发布等接口
  • 接口服务对象为portal

三: meta server 在eureka之上我们架了一层meta server用于封装eureka的服务发现接口

  • portal通过域名访问meta server获取admin service服务列表(ip+port)
  • client通过域名访问meta server获取config service服务列表(ip+port)
  • meta server从eureka获取config service和admin service的服务信息,相当于是一个eureka client
  • 增设一个meta server的角色主要是为了封装服务发现的细节,对portal和client而言,永远通过一个http接口获取admin service和config service的服务信息,而不需要关心背后实际的服务注册和发现组件
  • meta server只是一个逻辑角色,在部署时和config service是在一个jvm进程中的,所以ip、端口和config service一致

四:eureka java的一个服务发现的组件

  • 基于eureka和spring cloud netflix提供服务注册和发现
  • config service和admin service会向eureka注册服务,并保持心跳
  • 为了简单起见,目前eureka在部署时和config service是在一个jvm进程中的(通过spring cloud netflix)

五: portal

  • 提供web界面供用户管理配置
  • 通过meta server获取admin service服务列表(ip+port),通过ip+port访问服务
  • 在portal侧做load balance、错误重试

六:client 客户端

  • apollo提供的客户端程序,为应用提供配置获取、实时更新等功能
  • 通过meta server获取config service服务列表(ip+port),通过ip+port访问服务
  • 在client侧做load balance、错误重试

部署

  1. 目前我们开发有多个开发的环境:dev ,devmt,uat ,等环境,阿波罗可以多环境部署,需要明确环境来部署
  2. apollo 多环境部署,config service,admin service 需要根据环境各自部署一份,portal 可以只部署一份,管理所有的环境
  3. github下载:https://github.com/ctripcorp/apollo 源码
  4. 自定义环境变量 源码修改 ,建议查看源码的 github 文档 文件中有代码的具体路径

env com.ctrip.framework.apollo.core.enums 添加 devmt

?
1
2
3
4
5
6
7
8
9
public enum env{
  local, dev, fws, fat, uat, lpt, pro, tools, unknown, devmt;
 
  public static env fromstring(string env) {
    env environment = envutils.transformenv(env);
    preconditions.checkargument(environment != unknown, string.format("env %s is invalid", env));
    return environment;
  }
}

envutils com.ctrip.framework.apollo.core.enums 添加 devmt

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
public final class envutils {
  
  public static env transformenv(string envname) {
    if (stringutils.isblank(envname)) {
      return env.unknown;
    }
    switch (envname.trim().touppercase()) {
      case "lpt":
        return env.lpt;
      case "fat":
      case "fws":
        return env.fat;
      case "uat":
        return env.uat;
      case "pro":
      case "prod": //just in case
        return env.pro;
      case "dev":
        return env.dev;
      case "local":
        return env.local;
      case "tools":
        return env.tools;
      case "devmt":
        return env.devmt;
      default:
        return env.unknown;
    }
  }
}

legacymetaserverprovider com.ctrip.framework.apollo.core.internals 添加 devmt

?
1
2
3
4
5
6
7
8
9
10
11
12
private void initialize() {
    properties prop = new properties();
    prop = resourceutils.readconfigfile("apollo-env.properties", prop);
 
    domains.put(env.local, getmetaserveraddress(prop, "local_meta", "local.meta"));
    domains.put(env.dev, getmetaserveraddress(prop, "dev_meta", "dev.meta"));
    domains.put(env.fat, getmetaserveraddress(prop, "fat_meta", "fat.meta"));
    domains.put(env.uat, getmetaserveraddress(prop, "uat_meta", "uat.meta"));
    domains.put(env.lpt, getmetaserveraddress(prop, "lpt_meta", "lpt.meta"));
    domains.put(env.pro, getmetaserveraddress(prop, "pro_meta", "pro.meta"));
    domains.put(env.sit, getmetaserveraddress(prop, "devmt_meta", "devmt.meta"));
  }

检查 ,安装 java jdk 和 maven ,进入源码文件夹 scripts 下 执行 build 文件,编译打包apollo

复制 apollo-configservice/target ,apollo-adminservice/target ,apollo-portal/target ,文件下面的zip 文件和dockerfile 到指定的文件夹,如下图

docker-compose 部署 Apollo 自定义环境的详细教程

修改 configservice,adminservice,portal ,dockerfile 文件中的版本号和zip文件的版本号一致

在源码的scripts 文件夹下面找到sql的部署脚本,在mysql中执行,

修改 apolloconfigdb,eureka.service.url 的地址为,configservice 部署的地址例如 ,http://192.168.xx.xxx:8081/eureka/,

修改portal 的 apollo.portal.envs 为:多环境部署的环境变量,例如 dev,devmt

修改portal 的apollo.portal.meta.servers 为 :部署的configservice 部署的地址,例如

?
1
2
3
4
{
    "dev":"http://192.168.xx.xxx:8081",
    "devmt":"http://192.168.xx.xxx:8082"
}

编写docker-compose.yml

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
version: "3"
services:
  apollo-configservice:
    container_name: apollo-configservice
    build: apollo-configservice/
    image: apollo-configservice
    ports:
      - 8081:8080
    volumes:
      - /root/apollo/apollocompose/logs:/opt/logs
    environment:
      - spring_datasource_url= jdbc:mysql://192.168.xx.xxx:3306/apolloconfigdbdev?characterencoding=utf8&servertimezone=asia/shanghai
      - spring_datasource_username= xxxxxx
      - spring_datasource_password= xxxxxx
 
  apollo-adminservice:
    container_name: apollo-adminservice
    build: apollo-adminservice/
    image: apollo-adminservice
    ports:
      - 8091:8090
    volumes:
      - /root/apollo/apollocompose/logs:/opt/logs
    environment:
      - spring_datasource_url= jdbc:mysql://192.168.xx.xxx:3306/apolloconfigdbdev?characterencoding=utf8&servertimezone=asia/shanghai
      - spring_datasource_username= xxxxxx
      - spring_datasource_password= xxxxxx
  
  apollo-configservice-uat:
    container_name: apollo-configservice-uat
    build: apollo-configservice/
    image: apollo-configservice
    ports:
      - 8082:8080
    volumes:
      - /root/apollo/apollocompose/logs:/opt/logs
    environment:
      - spring_datasource_url= jdbc:mysql://192.168.xx.xxx:3306/apolloconfigdbuat?characterencoding=utf8&servertimezone=asia/shanghai
      - spring_datasource_username= xxxxxx
      - spring_datasource_password= xxxxxx
 
  apollo-adminservice-uat:
    container_name: apollo-adminservice-uat
    build: apollo-adminservice/
    image: apollo-adminservice
    ports:
      - 8092:8090
    volumes:
      - /root/apollo/apollocompose/logs:/opt/logs
    environment:
      - spring_datasource_url= jdbc:mysql://192.168.xx.xxx:3306/apolloconfigdbuat?characterencoding=utf8&servertimezone=asia/shanghai
      - spring_datasource_username= xxxxxx
      - spring_datasource_password= xxxxxx
  
  apollo-portal:
    container_name: apollo-portal
    build: apollo-portal/
    image: apollo-portal
    restart: always
    depends_on:
      - apollo-adminservice
    environment:
      - spring_datasource_url= jdbc:mysql://192.168.xx.xxx:3306/apolloportaldb?characterencoding=utf8&servertimezone=asia/shanghai
      - spring_datasource_username= xxxxxx
      - spring_datasource_password= xxxxxx
    volumes:
      - /root/apollo/apollocompose/logs:/opt/logs
      - /root/apollo/apollocompose/apollo-env.properties:/apollo-portal/config/apollo-env.properties
    ports:
      - 8071:8070

修改 本地 apollo-env.properties 环境变量配置为:与 自定义配置或携程定义的环境变量一致

?
1
2
dev.meta=http://localhost:8081
devmt.meta=http://localhost:8082

执行 docker-compose ,启动有延迟,多等待一会儿

踩坑

自定义环境变量需要下载源码,编译,sql脚本和数据库连接配置,一定要用官网最新的连接配置,不同版本,sql脚本可能不一致部署机器的运行内存要充足部署启动后,configservice,adminservice,portal ,mata service ,eureka 需要通讯,所以启动后,有延迟,等一段时间在看是否部署成功服务器端口,防火墙需要开启对应的端口,8080,8090,8071 和 自己指定的端口

学习链接

杨波老师架构解析文章:https://blog.csdn.net/yang75108/article/details/86989524?spm=1001.2014.3001.5501

Apollo 设计文档:https://www.apolloconfig.com/

Apollo 搭建自定义环境:https://www.jianshu.com/p/f84da093944f

以上就是docker-compose 部署 Apollo 自定义环境的详细内容,更多关于docker-compose 部署 Apollo环境的资料请关注服务器之家其它相关文章!

 

    原文链接:https://www.cnblogs.com/lifeng618/p/14917838.html