服务器部署 Chrome Headless Shell 与 chromedp 自动化实战指南

## 创建命名空间
apiVersion: v1 # apiVersion 指定了 Kubernetes API 的版本
kind: Namespace # kind 是指创建的住院类型，这里 Namespace 是指创建命名空间
metadata:
  name: chrome
---  # 分割线，表示创建多个资源，如上面是创建一个 chrome 的命名空间，下面是创建 Deployment 类型的 service-chrome-headless-shell 资源
apiVersion: apps/v1
kind: Deployment # 工作负载
metadata:
  labels:
    app: service-chrome-headless-shell
  name: service-chrome-headless-shell
  namespace: chrome   #一定要写名称空间
spec:
  progressDeadlineSeconds: 600 # 多久内pod没有创建成功则认为是失败的，默认600s
  replicas: 1 # pod的数量
  selector:
    matchLabels:
      app: service-chrome-headless-shell
  strategy: # 部署策略
    rollingUpdate: # 滚动更新策略
      maxSurge: 50% # 可以同时创建的新 Pod 数量为当前 Pod 数量的 50%
      maxUnavailable: 50% # 滚动更新期间 Service 最多可以从整体 Pod 数量中删除 50% 的 Pod
    type: RollingUpdate # 使用滚动更新策略
  template:
    metadata:
      labels:
        app: service-chrome-headless-shell
    spec:
      containers:
        - name: chrome-headless-shell
          image: chromedp/headless-shell:latest
          volumeMounts:
            - name: shared-memory
              mountPath: /dev/shm
            - name: data-volume
              mountPath: /home/DataVolume
          imagePullPolicy: IfNotPresent # 镜像拉取策略,设置为 IfNotPresent，只有当本地不存在该镜像时，才会尝试拉取镜像
          ports:
            - containerPort: 9222 # 容器内部监听了 9222 端口
              protocol: TCP
          terminationMessagePath: /home/k8s/logs # 用于指定容器终止时的消息输出路径
          terminationMessagePolicy: File  # 用于指定容器终止时的消息输出路径,File 表示消息将以文件的形式存储。
          resources: # 容器资源限制
            requests:
              cpu: 10m
              memory: 20Mi
            limits:
              cpu: 100m
              memory: 60Mi
#          command:
#            - "/bin/bash"
#            - "-c"
#            - |
#              apt-get update
#              apt-get install -y fonts-wqy-zenhei
#              apt install -y xfonts-intl-chinese ttf-wqy-microhei xfonts-wqy
      volumes:
        - name: data-volume
          hostPath:
            path: /home/chromeheadlessshell/DataVolume
            type: DirectoryOrCreate
        - name: shared-memory
          hostPath:
            path: /home/chromeheadlessshell/SharedMemory
            type: DirectoryOrCreate
      dnsPolicy: ClusterFirst # 指定 Pod 中容器实例使用的 DNS 策略
      restartPolicy: Always # 容器终止，k8s自动重启策略：1、Always，总是重启；2、Never，不重启；3、OnFailure，表示只有当容器实例以非零状态终止时（也就是失败），才应该重启该容器实例
      terminationGracePeriodSeconds: 30 # 容器优雅关闭等待时间，30s 如果容器实例需要终止，Kubernetes 将会向容器实例发送终止信号，并等待 30 秒钟，以确保容器实例有足够的时间来完成正在处理的请求。如果在 30 秒钟之内容器实例还没有终止，Kubernetes 将强制终止该容器实例。
      # 需要注意的是，terminationGracePeriodSeconds 参数只对支持优雅终止的容器实例有效，也就是说，只有在容器实例内部实现了优雅终止逻辑的情况下，terminationGracePeriodSeconds 参数才会生效
---
apiVersion: v1
kind: Service
metadata:
  labels:
    app: service-chrome-headless-shell
  name: service-chrome-headless-shell
  namespace: chrome
spec:
  ports:
    - name: http
      port: 9222
      protocol: TCP
      targetPort: 9222
      nodePort: 30894
  selector:
    app: service-chrome-headless-shell
  sessionAffinity: None # 会话亲和性用于将同一客户端的请求路由到同一 Pod 上，以确保会话状态的一致性。如果将 sessionAffinity 设置为 None，则 Kubernetes 将采用轮询的方式将请求路由到不同的 Pod 上，不会考虑会话状态的一致性。
  type: NodePort # 服务暴露类型：ClusterIP表示该 Service 不会暴露给集群外部的网络，只能在集群内部使用，NoderPort则可以暴露给外部
  externalTrafficPolicy: Cluster

# 创建服务文件
cat > /etc/systemd/system/chrome-headless.service << EOF
[Unit]
Description=Chrome Headless Shell Service
After=network.target

[Service]
Type=simple
ExecStart=/usr/bin/chrome-headless-shell --remote-debugging-port=9222 --disable-gpu --no-sandbox
Restart=always
RestartSec=5
User=root
LogFile=/var/log/chrome-headless.log

[Install]
WantedBy=multi-user.target
EOF

# 启用并启动服务
systemctl daemon-reload
systemctl enable chrome-headless.service
systemctl start chrome-headless.service

package main

import (
    "context"
    "fmt"
    "log"
    "os"

    "github.com/chromedp/chromedp"
)

func main() {
    // --- 关键配置：连接到已启动的 chrome-headless-shell ---
    // 我们将通过 Chrome DevTools Protocol 的默认端口 9222 进行连接
    // 因此，我们需要在启动 chrome-headless-shell 时指定 --remote-debugging-port=9222
    opts := append(chromedp.DefaultExecAllocatorOptions[:],
        chromedp.NoFirstRun,
        chromedp.NoDefaultBrowserCheck,
        // 关键：不自动启动新的 Chrome 进程，而是连接到已存在的进程
        chromedp.Flag("headless", true), // 虽然 shell 本身就是无头的，但显式设置更清晰
    )

    allocCtx, cancel := chromedp.NewExecAllocator(context.Background(), opts...)
    defer cancel()

    // 创建一个新的浏览器上下文
    ctx, cancel := chromedp.NewContext(allocCtx, chromedp.WithLogf(log.Printf))
    defer cancel()

    // 设置一个超时时间
    if err := chromedp.Run(ctx,
        chromedp.Navigate(`https://www.example.com`),
        chromedp.WaitVisible(`body`, chromedp.ByQuery),
    ); err != nil {
        log.Fatalf("Failed to navigate: %v", err)
    }

    // 截图
    var buf []byte
    if err := chromedp.Run(ctx, chromedp.CaptureScreenshot(&buf)); err != nil {
        log.Fatalf("Failed to capture screenshot: %v", err)
    }
    if err := os.WriteFile("example_screenshot.png", buf, 0644); err != nil {
        log.Fatalf("Failed to save screenshot: %v", err)
    }
    fmt.Println("Screenshot saved as example_screenshot.png")

    // 提取页面标题
    var title string
    if err := chromedp.Run(ctx, chromedp.Title(&title)); err != nil {
        log.Fatalf("Failed to get title: %v", err)
    }
    fmt.Printf("Page title: %s\n", title)
}

// 创建最多 5 个并发上下文的池
pool, err := chromedp.NewPool(5, chromedp.WithExecAllocator(opts...))
if err != nil {
    log.Fatal(err)
}
defer pool.Close()

// 批量执行任务（示例：3 个截图任务）
for i, url := range []string{"url1", "url2", "url3"} {
    pool.Run(ctx, func(ctx context.Context) error {
        var buf []byte
        if err := chromedp.Run(ctx, chromedp.Navigate(url), chromedp.CaptureScreenshot(&buf)); err != nil {
            return err
        }
        return os.WriteFile(fmt.Sprintf("screenshot_%d.png", i), buf, 0644)
    })
}