1. PaaS平台引入了对镜像仓库的管理，这在Rancher中是没有的；即角色的权限，除包含操作Rancher外，还能够操作镜像仓库。镜像仓库与PaaS的权限模型是一致的；
2. 另外，客户引入了租户的概念，这点与Rancher中不同，租户是可以跨越多个Rancher的环境的；

• 平台管理员：

• 环境用户：

• 平台管理员：

• 租户内部角色：

A: 在该项目中我们并未对这种情况做特殊处理，但是在我们另外的产品中，已经考虑到了该问题。正确的方法应该是基于ingress设置一个销毁容器的宽限时间，即：在这段时间内，不允许新流量导入即将销毁的容器，这些容器在该宽限时间到期后，自动销毁。

A：在当前项目中，客户明确要求按照1天为周期。在我们自己的PaaS产品线中，弹性伸缩可以调整周期（比如：星期、月份等），另外，还可以不按照时间周期，直接基于CPU、内存或者某一个可监控项。你可以理解为只要能够被监控的监控项，都可以作为弹性伸缩的依据。

A：我们是将日志收集后，统一发送到kafka集群，你可以理解为拷贝一份集中存储到kafka集群。这里的集中不是什么难点，难点在于对日志的收集，涉及三个层面：主机、容器、应用。我们的方式是在各台主机上部署容器化后的logstash，然后通过程序修改其配置模板，从而收集不同目录的日志。而这些目录就分别对应着主机日志、容器日志映射到主机的目录、以及应用日志映射到主机的目录。

A：这里的日志标签是可以自定义的，相当于主机上的daemon程序会监听该主机上容器的创建、销毁等event，一旦发现容器创建，就去check其标签，是否有自定义的“日志目录信息”，“日志文件扩展名信息”。这些日志目录都有对应的volume挂载到宿主机上，因此通过分析容器的inspect信息，就能够找到日志目录映射到宿主机的目录。而你提到的节点信息，这些是每个宿主机上的日志收集的服务容器在启动的时候就定义好的，所有由它收集并发送出去的日志，都会有该宿主机的标签。

A：是日志收集点的本地时间，具体通过NTP，但是要注意，需要保障容器时间与宿主机时间（时区）要保持一致。

A：所以在弹性伸缩的规则里面有一个参数为：“retrigger time” 也可以把它理解为一个安全的时间片，再一次伸缩动作之后，必须要等待这个时间片结束之后才会再次触发弹性伸缩行为。否则不予响应。

sudo docker run -d --restart=always -p 8080:8080 rancher/server

A：rancher-compose是对docker-compose的扩展，docker-compose 目前的能力太有限。

A：我们本身产品中不带CI，但会在CATALOG里提供这样的工具让客户一键部署，我想这个比直接提供CI集成更COOL

A: 我们是开源的，但也会有对应的企业版，像CentOS 和RHEL一样。

A：简单来说，我们目前是IPSEC VPN+基于DNS的服务发现。

A：升级非常容易，且向后兼容，在这一点上秉承CloudStack的设计原则。

A：通过ReverseNAT 下采用IPSec Tunnel，也就是数据是加密的，但要开在服务器间开两个UDP端口。

A：容器的隔离是和虚拟机不太一样，目前我们用“环境”的概念做多租户隔离，每个“环境”有自己的容器主机和容器。

A：我们和上述容器编排不是竞争关系（虽然目前编排是我们自己写的），我们会根据用户的需求提供Swarm、Kubernates甚至是Mesos的编排方式。 但容器编排不是全部企业容器服务内容。

A：我们是完全自己实现的。借鉴了之前团队做的CloudStack的成功经验。

A：都行，Rancher可以管理标准Docker 主机。

A: 这是很牛的一个与存储有关的功能，请大家看视频介绍：
http://rancher.com/how-rancher-storage-services-unleash-the-power-of-software-defined-storage/。

A：很多企业都是没有互联网访问的，我们支持从本地镜像库Registry中拉images。

A：都是硅谷公司，有深入的技术合作，很多Docker 组件如libcompose都是我们贡献的。

db:

      scale: 2

lb:

      image: rancher/load-balancer-service

      labels:

        io.rancher.loadbalancer.target.service1: example.com:443/service1=3000

        io.rancher.loadbalancer.target.service2: example.com:80/service2=5000

    service1:

     ...

    service2:

     ...

lb:

      labels:

        io.rancher.scheduler.affinity:host_label: for=lb

A：能够实时监控Registry，就能观察用户的行为，当我们在负载量很大的时候，能够有效保持Registry稳定运行。维护私有的Registry的问题，就是要跟进官方的更新，看看是否也需要同步。

A：Rancher的UI比较方便于上手和使用。而且Rancher的概念也更接近Docker compose，目前官方的文档也比较齐全。

A：Sensu不是必须的，你可以使用你熟悉的监控服务，比如Zabbix。

A：Hubot是拉取Flowdock的信息，所以Hubot可以部署在公司防火墙内。目前Hubot使用docker remote API来控制虚拟机上的容器。

Rancher自己有一套rancher-compose，提供load balance和auto scaling，可以算是Compose的增强版。可视化部分，是Rancher的一个Feature。

A：是的。

A：最初是选择Swarm+Compose，但是由于那个时候的Swarm不太稳定，有bug，集群管理工作不起来。Rancher部署方便，操作简单，所以就用了它。

A：据目前了解，是overlay模式。各主机之间采用IPsec Tunneling来实现通信，使用udp的500和4500端口。启动时在各个主机部署容器之前启动一个Network Agent管理容器网络。具体可以参看文档：docs.rancher.com

A：通过rancher-compose提供load balance和auto scaling实现高可用。监控图无法显示也是我们遇到的问题，目前正在解决。

A：从我们目前的经验来看，的确有这样的限制，如果有大规模集群的需求下，需要重新评估Rancher来管理和部署。

A：可以，可以参照https://hubot.github.com。

A：Remote API使用了TLS验证。目前我们的private registry使用了LDAP+token作为安全认证。

A：通过rancher-compose提供load balance和auto scaling实现动态伸缩。其他方面，还没有考虑过。

A：MySQL是rancher server自己提供的，无需手工部署。

A：最新版本的Rancher对Docker volume插件有了支持，可以通过它来实现Container的数据存储管理。

A：目前我们的使用规模比较小，还没有这方面的准确数据。

A：Docker是部署在KVM的虚拟机上，使用的企业私有云平台，目前没有做过性能测试。

A：Rancher版本更新快，较低的版本会有很多bug。

A：目前我们使用的就是v2，使用rancher upgrade来升级。 升级Docker的成本较大，目前还没有相关最佳实践。

A：目前我们看的都是官方英文文档，这样能看到最新的信息，中文文档没有关注。

• [VMDK] https://releases.rancher.com/os/v1.5.0/vmware/rancheros.vmdk

• [Docker Machine] https://releases.rancher.com/os/v1.5.0/rancheros-vmware.iso

• [Boot From ISO] https://releases.rancher.com/os/v1.5.0/vmware/rancheros.iso

华为CCE是中国第一个云托管的Kubernetes服务，我们无比欢迎Rancher用户能通过华为CCE与Rancher平台的集成合作，享受华为云所提供的世界级的Kubernetes支持。
——华为Cloud BU PaaS产品部总经理 廖振钦

作为中国最大的公共云服务提供商，也是全球三大IaaS提供商之一，阿里云致力于通过云原生方式和开放式容器技术，帮助企业加速数字化转型。我们很高兴通过阿里云Kubernetes服务（ACK）支持Rancher。ACK已在全球十六个地区推出，我们坚信ACK将推动企业通过Kubernetes完成向云迁移和多云管理。
——阿里云容器技术工程总监 易立

腾讯Kubernetes引擎（TKE）诞生于开源Kubernetes系统，提供以容器为中心、高度可扩展和高性能的容器管理服务。Rancher与TKE之间的集成支持有着很大意义，Rancher用户现在可以最大程度充分享受TKE提供的丰富功能了。
——腾讯云PaaS产品经理 梁文杰

Rancher一直是企业在生产中运行容器和Kubernetes的事实上的选择。Rancher 2.1中包含着很多重要的功能升级，将进一步帮助各类企业加快拥抱Kubernetes，缩短IT研发流程，降低基础架构成本，并提高应用程序可靠性。

——Rancher Labs联合创始人及CEO 梁胜

• 更多身份验证方式

• 驱散容器功能

• 项目配额管理

• 更强的应用程序管理功能

• CICD功能增强

• 支持GitLab

• 扩展的命令行界面（CLI）

• 高可用模式增强

• 应用商店优化和增强

services:



kubelet:



  extra_args:



    read-only-port: 10255j

RESOURCE_GROUP=MC_rancher-group_c-6vkts_eastus

DNS_ZONE=vanbrackel.net

az network dns zone create -g $RESOURCE_GROUP -n $DNS_ZONE

SUBSCRIPTION_ID="$(az account show | jq '.id')" && SUBSCRIPTION_ID=${SUBSCRIPTION_ID//\"}

TENANT_ID=$(az account show | jq '.tenantId') && TENANT_ID=${TENANT_ID//\"}

SCOPE=$(az group show --name $RESOURCE_GROUP | jq '.id') && SCOPE=${SCOPE//\"}

PRINCIPAL=$(az ad sp create-for-rbac --role="Contributor" --scopes=$SCOPE -n ExternalDnsServicePrincipal)

CLIENT_ID=$(echo $PRINCIPAL | jq '.appId') && CLIENT_ID=${CLIENT_ID//\"}

CLIENT_SECRET=$(echo $PRINCIPAL | jq '.password') && CLIENT_SECRET=${CLIENT_SECRET//\"

echo "{ \"tenantId\": \"$TENANT_ID\", \"subscriptionId\": \"$SUBSCRIPTION_ID\", \"aadClientId\": \"$CLIENT_ID\", \"aadClientSecret\": \"$CLIENT_SECRET\", \"resourceGroup\": \"$RESOURCE_GROUP\"}" >> azure.json

> kubectl create secret generic azure-config-file --from-file=azure.json

secret "azure-config-file" created

> kubectl get ns

NAME            STATUS    AGE

cattle-system   Active    1d

default         Active    1d

ingress-nginx   Active    1d

kube-public     Active    1d

kube-system     Active    1d

[quote] kubectl delete ns/ingress-nginx

namespace "ingress-nginx" deleted

kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/mandatory.yaml

kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/provider/cloud-generic.yaml

externaldns.yaml的yaml文件，或者使用此repo中的externaldns-template.yaml文件。



apiVersion: v1

kind: ServiceAccount

metadata:

  name: external-dns

---

apiVersion: rbac.authorization.k8s.io/v1beta1

kind: ClusterRole

metadata:   name: external-dns

rules:

[list]

[*]apiGroups: [""][/*]

[/list]  resources: ["services"]

  verbs: ["get","watch","list"]

[list]

[*]apiGroups: [""][/*]

[/list]  resources: ["pods"]

  verbs: ["get","watch","list"]

[list]

[*]apiGroups: ["extensions"] [/*]

[/list]  resources: ["ingresses"] 

  verbs: ["get","watch","list"]

---

apiVersion: rbac.authorization.k8s.io/v1beta1

kind: ClusterRoleBinding

metadata:   name: external-dns-viewer

roleRef:

  apiGroup: rbac.authorization.k8s.io

  kind: ClusterRole

  name: external-dns

subjects:

[list]

[*]kind: ServiceAccount[/*]

[/list]  name: external-dns

  namespace: default

---

apiVersion: extensions/v1beta1

kind: Deployment

metadata:

  name: external-dns

spec:

  strategy:

    type: Recreate

  template:

    metadata:

      labels:

        app: external-dns

    spec:

      serviceAccountName: external-dns

      containers:

      - name: external-dns

        image: registry.opensource.zalan.do/teapot/external-dns:v0.5.2

        args:

        - --source=service

        - --source=ingress

        - --domain-filter=vanbrackel.net # (optional) limit to only vanbrackel.net domains; change to match the zone created above.

        - --provider=azure

        - --azure-resource-group=MC_rancher-group_c-6vkts_eastus # (optional) use the DNS zones from above

        volumeMounts:

        - name: azure-config-file

          mountPath: /etc/kubernetes

          readOnly: true

      volumes:

      - name: azure-config-file

        secret:

          secretName: azure-config-file

EXTERNAL_DNS=$(cat externaldns-template.yaml)

EXTERNAL_DNS=${EXTERNAL_DNS//DOMAIN/$DOMAIN} && echo "${EXTERNAL_DNS//RESOURCE_GROUP/$RESOURCE_GROUP}" >> externaldns.yaml

kubectl create -f externaldns.yaml

apiVersion: extensions/v1beta1

kind: Deployment

metadata:

  name: nginx

spec:

  template:

    metadata:

      labels:

        app: nginx

    spec:

      containers:

      - image: nginx

        name: nginx

        ports:

        - containerPort: 80

---

apiVersion: v1

kind: Service

metadata:

  name: nginx-svc

spec:

  ports:

  - port: 80

    protocol: TCP

    targetPort: 80

  selector:

    app: nginx

  type: ClusterIP

  

---

apiVersion: extensions/v1beta1

kind: Ingress

metadata:

  name: nginx

  annotations:

    kubernetes.io/ingress.class: nginx

spec:

  rules:

  - host: server.vanbrackel.net

    http:

      paths:

      - backend:

          serviceName: nginx-svc

          servicePort: 80

        path: /

NGINX=$(cat nginx-ingress-test-template.yaml) && echo "${NGINX//DOMAIN/$DOMAIN}" >> nginx-ingress-test.yaml

kubectl create -f nginx-ingress-test.yaml

[jason@vblinux ~ ]$ az network dns record-set a list --resource-group $RESOURCE_GROUP --zone-name $DNS_ZONE

[

  {

    "arecords": [

      {

        "ipv4Address": "13.68.138.206"

      }

    ],

    "etag": "0fb3eaf9-7bf2-48c4-b8f8-432e05dce94a",

    "fqdn": "server.vanbrackel.net.",

    "id": "/subscriptions/c7e23d24-5dcd-4c7c-ae84-22f6f814dc02/resourceGroups/mc_rancher-group_c-6vkts_eastus/providers/Microsoft.Network/dnszones/vanbrackel.net/A/server",

    "metadata": null,

    "name": "server",

    "resourceGroup": "mc_rancher-group_c-6vkts_eastus",

    "ttl": 300,

    "type": "Microsoft.Network/dnszones/A"

  }

]

kubectl logs external-dns-655df89959-7ztm2 

time="2018-06-13T23:57:11Z" level=info msg="config: {Master: KubeConfig: Sources:[service ingress] Namespace: AnnotationFilter: FQDNTemplate: CombineFQDNAndAnnotation:false Compatibility: PublishInternal:false ConnectorSourceServer:localhost:8080 Provider:azure GoogleProject: DomainFilter:[vanbrackel.net] ZoneIDFilter:[] AWSZoneType: AWSAssumeRole: AzureConfigFile:/etc/kubernetes/azure.json AzureResourceGroup:MC_rancher-group_c-6vkts_eastus CloudflareProxied:false InfobloxGridHost: InfobloxWapiPort:443 InfobloxWapiUsername:admin InfobloxWapiPassword: InfobloxWapiVersion:2.3.1 InfobloxSSLVerify:true DynCustomerName: DynUsername: DynPassword: DynMinTTLSeconds:0 InMemoryZones:[] PDNSServer:http://localhost:8081 PDNSAPIKey: Policy:sync Registry:txt TXTOwnerID:default TXTPrefix: Interval:1m0s Once:false DryRun:false LogFormat:text MetricsAddress::7979 LogLevel:debug}"

time="2018-06-13T23:57:11Z" level=info msg="Connected to cluster at https://10.0.0.1:443"

...

time="2018-06-14T00:02:11Z" level=debug msg="Retrieving Azure DNS zones."

time="2018-06-14T00:02:12Z" level=debug msg="Found 1 Azure DNS zone(s)."

time="2018-06-14T00:02:12Z" level=debug msg="Retrieving Azure DNS records for zone 'vanbrackel.net'."

time="2018-06-14T00:02:12Z" level=debug msg="No endpoints could be generated from service default/kubernetes"

time="2018-06-14T00:02:12Z" level=debug msg="No endpoints could be generated from service default/nginx-svc"

time="2018-06-14T00:02:12Z" level=debug msg="No endpoints could be generated from service ingress-nginx/default-http-backend"

time="2018-06-14T00:02:12Z" level=debug msg="No endpoints could be generated from service ingress-nginx/ingress-nginx"

time="2018-06-14T00:02:12Z" level=debug msg="No endpoints could be generated from service kube-system/full-guppy-nginx-ingress-controller" time="2018-06-14T00:02:12Z" level=debug msg="No endpoints could be generated from service kube-system/full-guppy-nginx-ingress-default-backend"

time="2018-06-14T00:02:12Z" level=debug msg="No endpoints could be generated from service kube-system/heapster"

time="2018-06-14T00:02:12Z" level=debug msg="No endpoints could be generated from service kube-system/kube-dns"

time="2018-06-14T00:02:12Z" level=debug msg="No endpoints could be generated from service kube-system/kubernetes-dashboard"

time="2018-06-14T00:02:12Z" level=debug msg="No endpoints could be generated from service kube-system/tiller-deploy"

time="2018-06-14T00:02:12Z" level=debug msg="Endpoints generated from ingress: default/nginx: [server.vanbrackel.net 0 IN A 13.68.138.206]"

time="2018-06-14T00:02:12Z" level=debug msg="Retrieving Azure DNS zones."

time="2018-06-14T00:02:12Z" level=debug msg="Found 1 Azure DNS zone(s)."

time="2018-06-14T00:02:12Z" level=info msg="Updating A record named 'server' to '13.68.138.206' for Azure DNS zone 'vanbrackel.net'."

time="2018-06-14T00:02:13Z" level=info msg="Updating TXT record named 'server' to '\"heritage=external-dns,external-dns/owner=default,external-dns/resource=ingress/default/nginx\"' for Azure DNS zone 'vanbrackel.net'."

time="2018-06-14T00:03:11Z" level=debug msg="Retrieving Azure DNS zones."

time="2018-06-14T00:03:12Z" level=debug msg="Found 1 Azure DNS zone(s)."

time="2018-06-14T00:03:12Z" level=debug msg="Retrieving Azure DNS records for zone 'vanbrackel.net'."

time="2018-06-14T00:03:12Z" level=debug msg="Found A record for 'server.vanbrackel.net' with target '13.68.138.206'."

time="2018-06-14T00:03:12Z" level=debug msg="Found TXT record for 'server.vanbrackel.net' with target '\"heritage=external-dns,external-dns/owner=default,external-dns/resource=ingress/default/nginx\"'."

time="2018-06-14T00:03:12Z" level=debug msg="No endpoints could be generated from service default/kubernetes"

time="2018-06-14T00:03:12Z" level=debug msg="No endpoints could be generated from service default/nginx-svc" time="2018-06-14T00:03:12Z" level=debug msg="No endpoints could be generated from service ingress-nginx/default-http-backend"

time="2018-06-14T00:03:12Z" level=debug msg="No endpoints could be generated from service ingress-nginx/ingress-nginx"

time="2018-06-14T00:03:12Z" level=debug msg="No endpoints could be generated from service kube-system/full-guppy-nginx-ingress-controller"

time="2018-06-14T00:03:12Z" level=debug msg="No endpoints could be generated from service kube-system/full-guppy-nginx-ingress-default-backend"

time="2018-06-14T00:03:12Z" level=debug msg="No endpoints could be generated from service kube-system/heapster"

time="2018-06-14T00:03:12Z" level=debug msg="No endpoints could be generated from service kube-system/kube-dns"

time="2018-06-14T00:03:12Z" level=debug msg="No endpoints could be generated from service kube-system/kubernetes-dashboard"

time="2018-06-14T00:03:12Z" level=debug msg="No endpoints could be generated from service kube-system/tiller-deploy"

time="2018-06-14T00:03:12Z" level=debug msg="Endpoints generated from ingress: default/nginx: [server.vanbrackel.net 0 IN A 13.68.138.206]"

time="2018-06-14T00:03:12Z" level=debug msg="Retrieving Azure DNS zones."

time="2018-06-14T00:03:12Z" level=debug msg="Found 1 Azure DNS zone(s)."