下仔课：youkeit.xyz/16410/

随着云原生技术的发展，Kubernetes（K8s）作为最流行的容器编排平台，已成为许多企业构建和管理微服务架构的重要工具。然而，在实际使用中，K8s 的复杂性也给开发与运维团队带来了挑战，尤其是在故障排查和恢复方面。为此，我们编制了一份 2025 版 K8s 故障速查手册，涵盖 19 个高频问题的秒级定位与修复技巧，旨在提升系统运维效率，加速故障恢复。

一、故障排查框架

在排查任何故障时，首先要建立一个系统化的排查框架。这个框架包括以下几个步骤：

1. 确认故障现象：了解用户反馈的问题，确认具体表现。
2. 环境检查：验证 K8s 集群的状态，确保所有组件正常运行。
3. 资源监控：检查资源使用情况，包括 CPU、内存、存储等，确保没有资源瓶颈。
4. 日志分析：查看相关的日志信息，捕获异常和错误的详细信息。

二、19 个高频问题及其解决技巧

1. Pod CrashLoopBackOff

   • 定位：查看 Pod 的事件和日志，获取崩溃原因。
   • 修复：检查应用程序配置和依赖，确保环境变量正确，同时增大启动时间或重试策略。

2. Pod Pending

   • 定位：检查调度情况，查看 Pod 事件和节点状态。
   • 修复：确保有足够的资源供 Pod 调度，或查看节点的 taint 和 tolerations 配置。

3. 服务不可访问

   • 定位：检查服务和 Endpoint 之间的关联性。
   • 修复：确认服务和 Pod 的 labels 匹配，确保网络策略未阻止访问。

4. 网络连接问题

   • 定位：使用网络工具检查 Pod间的连接性。
   • 修复：检查 CNI 插件状态，重启网络代理或修复网络策略规则。

5. 节点 NotReady

   • 定位：通过 kubectl describe 查看节点状态和事件。
   • 修复：确保节点上的 kubelet 和容器运行时正常，可能需要重启服务或排查系统级问题。

6. 资源限制及警报

   • 定位：监控资源使用率，识别占用过高的 Pod。
   • 修复：优化资源请求和限制，或水平扩展 Pod 数量。

7. 卷挂载失败

   • 定位：查看 Pod 的事件，确认卷的状态。
   • 修复：确保存储类和持久卷配置正确，以及关联的 PV 和 PVC 状态正常。

8. 镜像拉取失败

   • 定位：检查 Pod 事件和镜像仓库配置。
   • 修复：确保正确的镜像和标签，检查访问权限和网络问题。

9. Custom Resource Definition (CRD) 问题

   • 定位：查看 CRD 对象的状态和条件。
   • 修复：验证 CRD 的定义和控制器逻辑，确保它们符合预期。

10. K8s 组件通信失败

    • 定位：检查 API Server 和各个组件的连接性。
    • 修复：确认防火墙规则和网络策略，确保流量不被阻止。

11. Cluster Autoscaler 无法扩展

    • 定位：检查 Autoscaler 状态和事件日志。
    • 修复：确认标签、节点池和配额设置，确保 Autoscaler 有权限执行操作。

12. Job 执行失败

    • 定位：查看 Job 的状态和 Pod 日志。
    • 修复：检查 Job 配置和容器的错误/异常情况，修正代码或依赖。

13. Ingress 配置失败

    • 定位：检查 Ingress 资源和相关服务状态。
    • 修复：验证 TLS 和路由规则，确保后端服务可用。

14. ConfigMap/Secret 加载失败

    • 定位：查看 Pod 日志，确认配置是否被正确加载。
    • 修复：检查 ConfigMap/Secret 的名称是否正确，重新加载相关 Pod。

15. 节点 CPU/内存资源吃紧

    • 定位：通过监控工具检测资源使用情况。
    • 修复：增加资源限制或优化运行的服务，以降低资源占用。

16. K8s 版本兼容性问题

    • 定位：确认各组件的版本兼容性。
    • 修复：升级或降级不兼容的组件至支持的版本。

17. 环境变量未注入

    • 定位：检查 Pod 的定义和部署 YAML。
    • 修复：确保环境变量命名正确，且在创建 Pod 时已正确部署。

18. Kubelet 不响应

    • 定位：检查 kubelet 的日志信息。
    • 修复：重启 kubelet 服务，或检查宿主机的资源和网络状态。

19. 健康检查失败

    • 定位：确认容器健康检查配置和日志。
    • 修复：调整健康检查的路径和参数，确保应用可正常响应。

三、总结

通过对以上 19 个高频问题的分析与解决技巧梳理，我们构建了一个快速定位和修复 K8s 故障的手册。运维团队可以依此手册在各种故障场景中，快速做出响应，提升故障处理效率。值得注意的是，故障处理不仅仅是修复问题，更是持续监控与优化的过程。因此，建议团队定期回顾和更新故障处理流程，以应对不断变化的技术环境和业务需求。通过技术手段的有效利用，我们可以更好地推动效率革命，实现更高效的云原生应用管理。