Openshift -router


今天说下openshift router是怎么工作的。
首先说下k8s的service,大家都知道,k8s proxy 进程的目的是做service->pod的代理,支持两种方式,一种是在node上添加ip table rule, 为每一个service 启动一个tcp port 做监听,在node上写一条ip table rule ,将service Ip 的请求nat 到kube-proxy 为其代理的端口,然后代理请求servive的IP 通过一定算法将请求转发到Pod ,一种是直接将到Service ip的请求转发到pod, 通过iptable 的方式,为每一个endpoint添加ip table.
要想通过域名解析的方式访问pod的话,可以在DNS中将域名解析到service ip.
openshift 的解决方案是利用haproxy 作为router,在DNS 服务器中将所有的域名解析请求转发到router pod,然后router pod,也就是haproxy再将请求转发到pod,这个过程完全无需人工操作。大概步骤如下:
1. 创建pod
2. 创建service
3.创建route,没个route都对应一个service,对应一个域名。
4.openshift router controller会监听service endpoint(service 对应的POD)的变化动态的修改haproxy 配置,当新创建一个route的时候,会再haproxy中添加对应的配置,当service endpoint增加或者删除或者状态不是ready的时候会修改ha-proxy配置以确保转发到健康的pod上面。
5. 目前每一个ha-proxy的配置文件都包括全网的域名解析的配置,目前有user story 正在做 route sharding,某一个router pod只解析某部分域名,从而减小route的配置文件的大小和满足不同域名需要不同的解析方式的需求
6. 当然,每一次pod的增减都去跟改配置和刷新haproxy配置文件会频繁的刷新haproxy 配置,目前也在做延迟刷新的功能,在一个周期内去刷新一次。
7. openshift不仅支持haproxy router, 还支持h5,详细请参考https://docs.openshift.org/lat ... .html
8.更多route相关新功能请参考 https://trello.com/b/TV5P9gKe/networking
以下为一些resource的template 定义,贴到这作为参考。
[vagrant@ose ~]$ oc get service nodejs-example -o json
{
"kind": "Service",
"apiVersion": "v1",
"metadata": {
    "name": "nodejs-example",
    "namespace": "haowang",
    "selfLink": "/api/v1/namespaces/haowang/services/nodejs-example",
    "uid": "1f832486-ef2e-11e5-bcc1-fa163efe3ad5",
    "resourceVersion": "43606",
    "creationTimestamp": "2016-03-21T06:28:28Z",
    "labels": {
        "template": "nodejs-example"
    },
    "annotations": {
        "description": "Exposes and load balances the application pods"
    }
},
"spec": {
    "ports": [
        {
            "name": "web",
            "protocol": "TCP",
            "port": 8080,
            "targetPort": 8080
        }
    ],
    "selector": {
        "name": "nodejs-example"
    },
    "portalIP": "172.31.174.255",
    "clusterIP": "172.31.174.255",
    "type": "ClusterIP",
    "sessionAffinity": "None"
},
"status": {
    "loadBalancer": {}
}
}
[vagrant@ose ~]$ oc get route -o json
{
"kind": "List",
"apiVersion": "v1",
"metadata": {},
"items": [
    {
        "kind": "Route",
        "apiVersion": "v1",
        "metadata": {
            "name": "nodejs-example",
            "namespace": "haowang",
            "selfLink": "/oapi/v1/namespaces/haowang/routes/nodejs-example",
            "uid": "1f80762b-ef2e-11e5-bcc1-fa163efe3ad5",
            "resourceVersion": "43607",
            "creationTimestamp": "2016-03-21T06:28:28Z",
            "labels": {
                "template": "nodejs-example"
            },
            "annotations": {
                "openshift.io/host.generated": "true"
            }
        },
        "spec": {
            "host": "nodejs-example-haowang.0319-j7r.qe.rhcloud.com",
            "to": {
                "kind": "Service",
                "name": "nodejs-example"
            }
        },
        "status": {
            "ingress": [
                {
                    "host": "nodejs-example-haowang.0319-j7r.qe.rhcloud.com",
                    "routerName": "router",
                    "conditions": [
                        {
                            "type": "Admitted",
                            "status": "True",
                            "lastTransitionTime": "2016-03-21T06:28:28Z"
                        }
                    ]
                }
            ]
        }
    }
]
}

[vagrant@ose ~]$ oc get endpoints -o json
{
"kind": "List",
"apiVersion": "v1",
"metadata": {},
"items": [
    {
        "kind": "Endpoints",
        "apiVersion": "v1",
        "metadata": {
            "name": "nodejs-example",
            "namespace": "haowang",
            "selfLink": "/api/v1/namespaces/haowang/endpoints/nodejs-example",
            "uid": "1f8d0087-ef2e-11e5-bcc1-fa163efe3ad5",
            "resourceVersion": "44576",
            "creationTimestamp": "2016-03-21T06:28:28Z",
            "labels": {
                "template": "nodejs-example"
            }
        },
        "subsets": [
            {
                "addresses": [
                    {
                        "ip": "10.2.2.18",
                        "targetRef": {
                            "kind": "Pod",
                            "namespace": "haowang",
                            "name": "nodejs-example-2-qagll",
                            "uid": "a73aedef-ef2f-11e5-bcc1-fa163efe3ad5",
                            "resourceVersion": "44570"
                        }
                    }
                ],
                "ports": [
                    {
                        "name": "web",
                        "port": 8080,
                        "protocol": "TCP"
                    }
                ]
            }
        ]
    }
]
}

2 个评论

openshift通过二级域名来区分不同的服务,那么请求到达openshift后,如何找到对应的router呢?
每个node上运行一个ha-proxy pod, openshift 叫做router pod, 另外有route controller 根据 不同的域名增加修改ha-proxy配置转发到对应的endpoint

要回复文章请先登录注册