为啥Docker会卡死


我跑了大概60个容器在一台主机上面,可是跑了一段时间以后,Docker竟然会卡死,做任何操作都不行,docker psdocker info以及其他操作都没有用,一直都是僵死着,无法使用。
已邀请:

已解决,我们docker是运行在centos7操作系统中的,文件系统为xfs。通过排查日志/var/log/message发现是由于linux内核bug导致,目前该问题官方已经反馈修复了(官方回复该bug已在最新版内核kernel-3.10.0-693.el7中修复),但是在后续的版本中没有看到修复该问题的描述。所以还在观望官方修复情况。

张夏 - FreeWheel Lead Engineer, ex-IBMer

赞同来自: silenceshell


Docker hang在Jenkins on Mesos中经常遇到:过于频繁create/destory container、pull/push image,当thin pool满时,DeviceMapper后端默认文件系统xfs会不断retry 失败的IO,导致进程挂起。

两种方式解决:
1. 通过替换xfs文件系统为ext4。
2. 升级Docker到1.12.6以上版本,增加Docker daemon启动参数‘dm.xfs_nospace_max_retries=0’方法解决。

shlallen - DaoCloud软件工程师,合伙人

赞同来自:


这样的情况下,你有没有看一下docker进程的状态?

DockOne - DockOne官方账号

赞同来自:


@hanxy 请提供日志信息,另外,如果可以的话,加个头像。

60个容器在一台主机 楼主真勇猛,,我都是一台主机一个容器。。。。

xeonzhang - 新进运维开发@docker爱好者

赞同来自:


我这边也经常这样的问题。杀进程也没有用。非要重启服务器才能解决这样的问题。看了下日志,没有什么提示,也不算是报错吧 就是卡死了。

xiaolunsanguo - 京东商城-基础平台部-JDOS团队

赞同来自:


我也遇到过。不过容器都是正常的。只是不能执行docker ps等命令。偶现的,而且频率极低,没找到出现规律。

allansun - 无名小虾

赞同来自:


我之前也遇到过类似的问题,楼主可以试试升级你的docker的版本。 我live环境一直是用CoreOS,早先的时候会有这种情况,后来随着版本升级几乎就没遇见过这种情况了。

此外一个主机60个容器,是不是也有可能是内存的问题。。。

我们也遇到了类似情况,目前怀疑是容器运行产生的线程数超过了宿主机的最大线程数限制导致,具体还在测试中。

要回复问题请先登录注册