网络故障排查手册¶

# 1. 检查网络接口状态
ip link show
# 或
ifconfig -a

# 预期输出：
# eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500
# 关键标志：UP（启用）、LOWER_UP（物理连接正常）

# 2. 检查网线连接
ethtool eth0

# 预期输出：
# Link detected: yes
# Speed: 1000Mb/s
# Duplex: Full

# 3. 查看网卡统计（检查错误）
ifconfig eth0 | grep -E "(errors|dropped|overruns)"
# 或
ip -s link show eth0

# 关注：RX errors、RX dropped、TX errors 应该为0或很小

# 1. 检查ARP表
arp -a
# 或
ip neigh

# 2. 查看MAC地址
ip link show eth0

# 3. 检查VLAN配置
ip -d link show eth0.100

# 4. 交换机端口检查（如有权限）
# Cisco
show interfaces status
show mac address-table

# 常见问题：
# - MAC地址冲突
# - VLAN配置错误
# - STP阻塞端口

# 1. 检查IP配置
ip addr show
ip route show

# 2. 连通性测试
ping 8.8.8.8              # 测试外网连通
ping 192.168.1.1          # 测试网关
ping <同网段IP>            # 测试局域网

# 3. 路由追踪
traceroute 8.8.8.8
# Windows: tracert 8.8.8.8

# 4. 检查防火墙
sudo iptables -L -n -v    # Linux
netsh advfirewall show currentprofile  # Windows

# 5. 检查NAT/端口转发
curl ifconfig.me          # 查看公网IP

# 1. 查看端口监听
ss -tlnp
# 或
netstat -tlnp

# 2. 检查TCP连接状态
ss -tan | awk '{print $1}' | sort | uniq -c

# 3. 测试端口连通性
nc -zv 192.168.1.100 22   # netcat测试
telnet 192.168.1.100 22   # telnet测试

# 4. 抓包分析
sudo tcpdump -i eth0 port 80 -w capture.pcap
# 然后用Wireshark分析

# 5. 检查连接数限制
ulimit -n                 # 文件描述符限制
sysctl net.ipv4.tcp_max_syn_backlog  # SYN队列

# 1. DNS解析测试
nslookup example.com
dig example.com
dig @8.8.8.8 example.com  # 指定DNS服务器

# 2. HTTP测试
curl -I https://example.com
curl -v https://example.com  # 详细输出
wget --server-response https://example.com

# 3. SSL/TLS检查
openssl s_client -connect example.com:443 -servername example.com
openssl x509 -in cert.pem -text -noout  # 查看证书详情

# 4. 服务状态检查
systemctl status nginx
journalctl -u nginx -f      # 实时日志

# 5. 应用日志分析
tail -f /var/log/nginx/error.log
grep "ERROR" /var/log/app.log

# Step 1: 确认问题时间规律
# 查看监控发现每天固定时段CPU飙升

# Step 2: 检查服务器资源
top -bn1 | head -20
# 发现MySQL进程CPU占用90%+

# Step 3: 查看慢查询日志
mysql -e "SHOW FULL PROCESSLIST;"
# 发现有大量慢查询堆积

# Step 4: 分析慢查询
pt-query-digest /var/log/mysql/slow.log
# 发现某个统计查询没有索引

# Step 5: 检查连接数
netstat -an | grep :3306 | wc -l
# 连接数达到max_connections上限

# Step 1: 本地测试
ssh -v user@server  # 详细模式查看卡在哪一步
# 发现卡在"debug1: expecting SSH2_MSG_KEX_ECDH_REPLY"

# Step 2: 通过VNC/控制台登录服务器
# 检查SSH服务状态
systemctl status sshd
# 服务正常运行

# Step 3: 检查端口监听
ss -tlnp | grep 22
# 发现监听在127.0.0.1:22，不是0.0.0.0:22

# Step 4: 检查配置文件
grep ListenAddress /etc/ssh/sshd_config
# 发现 ListenAddress 127.0.0.1

# 修改配置
sed -i 's/ListenAddress 127.0.0.1/#ListenAddress 127.0.0.1/' /etc/ssh/sshd_config  # sed流编辑器：文本替换与转换
systemctl restart sshd

# Step 1: 检查容器网络模式
docker inspect <container> | grep -A 10 NetworkMode
# 默认bridge模式

# Step 2: 检查docker0网桥
ip addr show docker0
# 网桥正常

# Step 3: 检查IP转发
sysctl net.ipv4.ip_forward
# 返回0，IP转发被禁用！

# Step 4: 检查iptables规则
sudo iptables -t nat -L -n -v | grep MASQUERADE
# 发现MASQUERADE规则缺失

# Step 5: 检查DNS配置
cat /etc/resolv.conf
# 发现nameserver是127.0.0.53，容器无法访问

# 开启IP转发
echo 1 > /proc/sys/net/ipv4/ip_forward
echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf

# 重启Docker服务重建iptables规则
systemctl restart docker

# 配置Docker使用公共DNS
cat > /etc/docker/daemon.json <<EOF
{
  "dns": ["8.8.8.8", "8.8.4.4"]
}
EOF
systemctl restart docker

# Step 1: 应用层日志分析
# 发现慢请求都集中在访问user-service

# Step 2: 检查user-service连接池
netstat -an | grep :8080 | grep ESTABLISHED | wc -l  # grep文本搜索：按模式匹配行
# 连接数达到上限

# Step 3: 检查连接池配置
# 发现连接池大小设置为50，但并发请求峰值200+

# Step 4: 检查TCP连接状态
ss -tan | grep :8080 | awk '{print $1}' | sort | uniq -c
# 大量TIME_WAIT状态

# Step 5: 抓包分析
sudo tcpdump -i any host user-service -w slow.pcap
# 分析发现连接建立耗时过长

# 1. 测量各环节延迟
# DNS解析时间
time dig +short example.com

# TCP连接时间
time nc -z -w2 example.com 443

# TLS握手时间
time openssl s_client -connect example.com:443 </dev/null

# 首字节时间(TTFB)
curl -o /dev/null -w "TTFB: %{time_starttransfer}\n" https://example.com

# 总下载时间
curl -o /dev/null -w "Total: %{time_total}\n" https://example.com

# 2. 使用mtr持续监测
mtr --report --report-cycles 100 example.com

# 3. 带宽测试
# 安装speedtest-cli
pip install speedtest-cli
speedtest-cli

# iperf3测试内网带宽
# 服务端：iperf3 -s
# 客户端：iperf3 -c <server_ip>

# 1. 实时带宽监控
iftop -i eth0
nload eth0

# 2. 按连接统计流量
sudo tcpdump -i eth0 -nn -q 2>/dev/null | awk '{print $3}' | cut -d. -f1-4 | sort | uniq -c | sort -rn | head

# 3. 进程流量统计
sudo nethogs eth0

# 4. 历史流量（如有监控）
# sar -n DEV 1 10

# 1. 查看当前连接数统计
ss -tan | awk '{print $1}' | sort | uniq -c | sort -rn

# 2. 查看TIME_WAIT数量（过高会耗尽端口）
ss -tan state time-wait | wc -l

# 3. 查看端口使用范围
cat /proc/sys/net/ipv4/ip_local_port_range

# 4. 优化TIME_WAIT
# 编辑 /etc/sysctl.conf
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 0  # 已废弃，勿用
net.ipv4.tcp_fin_timeout = 30

sysctl -p

#!/bin/bash
# network_diagnose.sh - 网络一键诊断脚本

echo "========== 网络诊断报告 =========="
echo "生成时间: $(date)"
echo ""

echo "【1. 基本网络信息】"
echo "主机名: $(hostname)"
echo "公网IP: $(curl -s ifconfig.me)"
echo ""

echo "【2. 网络接口状态】"
ip addr show | grep -E "(inet|UP|DOWN)"  # |管道：将前一命令的输出作为后一命令的输入
echo ""

echo "【3. 路由表】"
ip route show
echo ""

echo "【4. DNS配置】"
cat /etc/resolv.conf
echo ""

echo "【5. 连通性测试】"
echo "测试网关..."
ping -c 3 $(ip route | grep default | awk '{print $3}') | tail -2  # $()命令替换：执行命令并获取输出

echo "测试外网..."
ping -c 3 8.8.8.8 | tail -2

echo "测试DNS..."
ping -c 3 baidu.com | tail -2
echo ""

echo "【6. 监听端口】"
ss -tlnp | head -20
echo ""

echo "【7. 连接统计】"
ss -tan | awk '{print $1}' | sort | uniq -c | sort -rn  # awk文本处理：按列提取和格式化数据
echo ""

echo "【8. 防火墙状态】"
sudo iptables -L -n | head -10
echo ""

echo "========== 诊断完成 =========="