使用 Ingress 访问 Dapr 应用

时间:2022-01-10 00:41:20

使用 Ingress 访问 Dapr 应用

上一篇 文章中分享了分布式运行时 Dapr 的使用,在示例中将状态存储能力分离到 Dapr 运行时中,应用通过 Dapr API 来使用该能力。这篇文章将介绍如何通过 Ingress Controller(入口控制器)来访问 Dapr 应用。

方案

如何公开 Dapr 应用的访问,方案有两种:

  1. 像传统用法一样,配置应用的 Service 作为后端,由入口控制器直接将流量转发到应用容器,简单说就是支持自动配置的 L7 负载均衡器。
  2. 不直接访问应用容器,而是通过 Daprd 运行时来访问。这时,我们就需要将入口控制器也声明为 Dapr 应用,为其注入 Daprd 运行时容器。此时创建入口规则指向的后端,则是 Ingress 的 Dapr Service。

两种方案各有优劣,前者架构简单;后者虽然引入 Daprd 容器,架构复杂,消耗了更多的资源,但也因此可以使用 Dapr 的服务治理能力,如超时、重试、访问控制等等。

接下来我们将通过示例来分别验证两种方案。

使用 Ingress 访问 Dapr 应用

演示

前置条件

  • helm
  • dapr cli

安装集群

export INSTALL_K3S_VERSION=v1.23.8+k3s2
curl -sfL https://get.k3s.io | sh -s - --disable traefik --write-kubeconfig-mode 644 --write-kubeconfig ~/.kube/config

安装 Dapr

dapr init --kubernetes --wait

安装入口控制器

这里使用 Flomesh 的入口控制器。通过 valus.yaml 为入口控制器添加 dapr 相关的注解。这里需要注意由于默认情况下 Daprd 运行时监听的端口是绑定在回环地址上的,而 Ingress 向后端转发请求时使用的是 Pod IP,因此需要注解 dapr.io/sidecar-listen-addresses: "[::],0.0.0.0" 让 Daprd 运行时可以接收来自 Pod IP 的请求。

# values.yaml
fsm:
  ingress:
    podAnnotations:
      dapr.io/sidecar-listen-addresses: "[::],0.0.0.0"
      dapr.io/enabled: "true"
      dapr.io/app-id: "ingress"
      dapr.io/app-port: "8000"
      dapr.io/enable-api-logging: "true"
      dapr.io/config: "ingressconfig"
helm repo add fsm https://charts.flomesh.io
helm repo update

helm install \
  --namespace flomesh \
  --create-namespace \
  --version=0.2.1-alpha.3 \
  -f values.yaml \
  fsm fsm/fsm

部署示例应用

示例应用我们使用 kennethreitz/httpbin,为其添加 dapr 相关的注解。

kubectl create ns httpbin

kubectl apply -n httpbin -f - <<EOF
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: httpbin
  name: httpbin
spec:
  replicas: 1
  selector:
    matchLabels:
      app: httpbin
  strategy: {}
  template:
    metadata:
      annotations:
        dapr.io/enabled: "true"
        dapr.io/app-id: "httpbin"
        dapr.io/app-port: "80"
        dapr.io/enable-api-logging: "true"
        dapr.io/config: "httpbinconfig"
      labels:
        app: httpbin
    spec:
      containers:
      - image: kennethreitz/httpbin
        name: httpbin
        resources: {}
---
apiVersion: v1
kind: Service
metadata:
  labels:
    app: httpbin
  name: httpbin
  namespace: httpbin
spec:
  ports:
  - port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: httpbin
EOF

方案 1

参考 Flomesh Ingress 的 文档,创建入口规则使用 Service httpbin 作为后端。

kubectl apply -n httpbin -f - <<EOF
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: httpbin
  annotations:
    pipy.ingress.kubernetes.io/rewrite-target-from: ^/httpbin/?
    pipy.ingress.kubernetes.io/rewrite-target-to: /
spec:
  ingressClassName: pipy
  rules:
  - http:
      paths:
      - backend:
          service:
            name: httpbin
            port:
              number: 80
        path: /httpbin
        pathType: Prefix
EOF

使用主机 IP 地址和入口控制器的 80 端口来访问 /httpbin/get,由于上面配置了路径重写,最终请求 /get 将会被发送到目标 Pod。

curl HOST_IP:80/httpbin/get
{
  "args": {},
  "headers": {
    "Accept": "*/*",
    "Connection": "keep-alive",
    "Content-Length": "0",
    "Host": "10.0.0.13:80",
    "User-Agent": "curl/7.86.0"
  },
  "origin": "10.42.0.18",
  "url": "http://10.0.0.13:80/get"
}

方案 2

方案 2 也同样需要配置入口规则,只是这次后端服务配置的入口控制器的 Dapr Service,通过 kubectl get svc -n flomesh 就可以找到名字带有 -dapr 后缀的 Service

kubectl apply -n flomesh -f - <<EOF
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: dapr
  annotations:
    pipy.ingress.kubernetes.io/rewrite-target-from: ^/dapr/?
    pipy.ingress.kubernetes.io/rewrite-target-to: /
spec:
  ingressClassName: pipy
  rules:
  - http:
      paths:
      - backend:
          service:
            name: ingress-dapr
            port:
              number: 80
        path: /dapr
        pathType: Prefix
EOF

仍然是访问 httpbin 的路径 /get,但是访问方式要遵循 Dapr 服务调用的 API:通过请求头指定 dapr-app-idhttpbin.httpbin。由于入口控制器和目标应用不在同一命名空间下,在应用 id 需要带上其命名空间。

同样是成功返回,但是可以看到最终应用收到请求头部会多了一些信息,这些信息都是来自 Daprd 运行时,比如 Dapr-Caller-App-Id"Dapr-Callee-App-Id 标识表示请求的发起方和接收方;Forwarded 标识了发起请求的主机名。如果开启了 tracing,还会有链路相关的信息(本示例中并未开启)。

curl HOST_IP:80/dapr/get -H 'dapr-app-id:httpbin.httpbin'
{
  "args": {},
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip",
    "Connection": "keep-alive",
    "Dapr-App-Id": "httpbin.httpbin",
    "Dapr-Callee-App-Id": "httpbin",
    "Dapr-Caller-App-Id": "ingress",
    "Forwarded": "for=10.42.0.18;by=10.42.0.18;host=fsm-ingress-pipy-864d8d9c76-4kb7r",
    "Host": "127.0.0.1:80",
    "Proto": "HTTP/1.1",
    "Protomajor": "1",
    "Protominor": "1",
    "Referer": "",
    "Traceparent": "00-00000000000000000000000000000000-0000000000000000-00",
    "User-Agent": "curl/7.86.0",
    "X-Forwarded-Host": "fsm-ingress-pipy-864d8d9c76-4kb7r"
  },
  "origin": "10.42.0.18",
  "url": "http://fsm-ingress-pipy-864d8d9c76-4kb7r/get"
}

访问控制

文章开头提到使用 方案 2 虽然带来了延迟增加了复杂度,但是可以使用 Dapr 的服务治理能力。这里以 Dapr 的访问控制功能 为例。

不知道大家注意到没,在部署入口控制器和示例应用时,有个注解 dapr.io/config: xxx。这个注解是为应用的 Daprd 运行时指定配置,运行时启动时会从名为 xxx 的 Configuration 资源读取配置。

执行下面的命令为 httpbin 应用设置访问控制规则:默认拒绝所有请求,只允许 flomesh 命名空间下的 id 为 ingress 的应用通过 GET 方式访问路径 /get。更多访问控制配置,可以参考 Dapr 访问控制官方文档

kubectl apply -n httpbin -f - <<EOF
apiVersion: dapr.io/v1alpha1
kind: Configuration
metadata:
  name: httpbinconfig
spec:
  accessControl:
    defaultAction: deny
    trustDomain: "public"
    policies:
    - appId: ingress
      defaultAction: deny
      trustDomain: 'public'
      namespace: "flomesh"
      operations:
      - name: /get
        httpVerb: ['GET']
        action: allow
EOF

应用配置之后,需要重启应用。

kubectl rollout restart deploy httpbin -n httpbin

等到重启完成,再访问 /get 路径,正常响应。

curl HOST_IP:80/dapr/get -H 'dapr-app-id:httpbin.httpbin'
{
  "args": {},
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip",
    "Connection": "keep-alive",
    "Dapr-App-Id": "httpbin.httpbin",
    "Dapr-Callee-App-Id": "httpbin",
    "Dapr-Caller-App-Id": "ingress",
    "Forwarded": "for=10.42.0.40;by=10.42.0.40;host=fsm-ingress-pipy-864d8d9c76-jctcx",
    "Host": "127.0.0.1:80",
    "Proto": "HTTP/1.1",
    "Protomajor": "1",
    "Protominor": "1",
    "Referer": "",
    "Traceparent": "00-00000000000000000000000000000000-0000000000000000-00",
    "User-Agent": "curl/7.86.0",
    "X-Forwarded-Host": "fsm-ingress-pipy-864d8d9c76-jctcx"
  },
  "origin": "10.42.0.40",
  "url": "http://fsm-ingress-pipy-864d8d9c76-jctcx/get"
}

但是,如果是访问路径 /headers,会收到下面的响应:被禁止访问 /headers

curl HOST_IP:80/dapr/headers -H 'dapr-app-id:httpbin.httpbin'
{
  "errorCode": "ERR_DIRECT_INVOKE",
  "message": "fail to invoke, id: httpbin.httpbin, err: rpc error: code = PermissionDenied desc = access control policy has denied access to appid: ingress operation: headers verb: GET"
}

总结

文中使用的两种入口方案各有优缺点,方案 1 架构简单,也是我们常用的方案;方案 2 中相当于将入口控制器声明为 Dapr 应用,实际上暴露的是 Dapr 的 API,在实现上更像是一个全局的应用运行时。

文章统一发布在公众号云原生指北

使用 Ingress 访问 Dapr 应用