セルフホストCI/CDで踏んだ地雷と解決策：15ランナー × 共有Docker環境の闘い【第7回】

1
2
3
4

# saru-hyperv-1 〜 saru-hyperv-15
for i in $(seq 1 15); do
  sudo systemctl status actions.runner.ko-chan-saru.saru-hyperv-$i
done

1
2
3

# 当初の実装（問題あり）
PORT_OFFSET=$(( RUN_ID % 3000 ))
POSTGRES_PORT=$(( 10000 + PORT_OFFSET ))

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

# ランナー名からランナー番号を抽出（例: saru-hyperv-7 → 7）
if [[ "${RUNNER_NAME}" =~ saru-hyperv-([0-9]+) ]]; then
  RUNNER_NUM=${BASH_REMATCH[1]}
else
  RUNNER_NUM=$(( (RUN_ID % 15) + 1 ))
fi

# 各ランナーに200ポートのブロックを割り当て
RUNNER_BLOCK=$((RUNNER_NUM * 200))
PORTAL_OFFSET=$((PORTAL_INDEX * 10))

# フロントエンド/バックエンド: 20000 + (RUNNER_NUM × 200) + (PORTAL_INDEX × 10) + {0,1,2,3}
BASE_PORT=20000
OFFSET=$((RUNNER_BLOCK + PORTAL_OFFSET))
PORTAL_PORT=$((BASE_PORT + OFFSET + 1))
API_PORT=$((BASE_PORT + OFFSET + 2))

# インフラ: 30000 + (RUNNER_NUM × 1000) + {0,100,200,...} + PORTAL_INDEX
BASE_INFRA_PORT=30000
INFRA_RUNNER_BLOCK=$((RUNNER_NUM * 1000))
POSTGRES_PORT=$((BASE_INFRA_PORT + INFRA_RUNNER_BLOCK + PORTAL_INDEX))
KEYCLOAK_PORT=$((BASE_INFRA_PORT + INFRA_RUNNER_BLOCK + 100 + PORTAL_INDEX))

1
2
3

# ⚠️ これが問題だった
- name: Cleanup
  run: docker system prune -f

1
2
3
4
5

# ✅ 安全なクリーンアップ
# docker system prune、docker container prune は使用禁止
# 並行ジョブのコンテナを破壊するため
# 24時間以上経過したダングリングイメージのみ削除
docker image prune -f --filter "until=24h" 2>/dev/null || true

1
2
3
4
5
6
7
8

# 自ジョブのコンテナのみ削除（永続コンテナは保護）
RUN_ID="${{ github.run_id }}"
for container in $(docker ps -a --format '{{.Names}}' \
  | { grep "^saru-" | grep -v "saru-postgres-integ\|saru-keycloak-dev\|saru-mailpit-dev" || true; }); do
  if [[ ! "$container" =~ "${RUN_ID}" ]]; then
    docker rm -f "$container" 2>/dev/null || true
  fi
done

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

docker run -d \
  --name saru-postgres-ci \
  --shm-size=256m \  # ← これが重要
  --restart=unless-stopped \
  -e POSTGRES_USER=test \
  -e POSTGRES_PASSWORD=test \
  -p 15432:5432 \
  --health-cmd "pg_isready -U test" \
  postgres:16-alpine \
  postgres -c max_connections=200

1
2

docker inspect "${CONTAINER}" --format '{{.State.OOMKilled}}'
# true ならメモリ不足が原因

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

# PostgreSQLコンテナが未起動なら起動（初回のみ）
- name: Start persistent PostgreSQL
  run: |
    POSTGRES_CONTAINER="saru-postgres-integ"
    if ! docker ps --format '{{.Names}}' | grep -qx "${POSTGRES_CONTAINER}"; then
      docker run -d \
        --name "${POSTGRES_CONTAINER}" \
        --shm-size=256m \
        --restart=unless-stopped \
        -e POSTGRES_USER=test \
        -p 15432:5432 \
        postgres:16-alpine
    fi

    # このジョブ用のデータベースを作成
    DB_NAME="integ_${{ github.run_id }}"
    docker exec "${POSTGRES_CONTAINER}" \
      psql -U test -h 127.0.0.1 -c "CREATE DATABASE \"${DB_NAME}\" OWNER test;"

# ジョブ終了時にデータベースだけ削除
- name: Cleanup database
  if: always()
  run: |
    docker exec saru-postgres-integ \
      psql -U test -h 127.0.0.1 \
      -c "DROP DATABASE IF EXISTS \"integ_${{ github.run_id }}\";"

    # 過去の失敗ジョブで残った古いデータベースも掃除
    STALE_DBS=$(docker exec saru-postgres-integ psql -U test \
      -d postgres -h 127.0.0.1 -tAc \
      "SELECT datname FROM pg_database WHERE datname LIKE 'integ_%';")
    for DB in $STALE_DBS; do
      docker exec saru-postgres-integ psql -U test \
        -d postgres -h 127.0.0.1 \
        -c "DROP DATABASE IF EXISTS \"${DB}\";"
    done

1
2
3
4
5

# ⚠️ Unixソケット（デフォルト）: 再起動中に失敗する可能性
docker exec postgres psql -U test -c "SELECT 1"

# ✅ TCP接続: 再起動中でもリトライが効く
docker exec postgres psql -U test -h 127.0.0.1 -c "SELECT 1"

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# 古いネットワークを削除（現在のRUN_IDのものは保護）
RUN_ID="${{ github.run_id }}"
for net in $(docker network ls --format '{{.Name}}' | { grep "^saru-ci-" || true; }); do
  if [[ ! "$net" =~ "${RUN_ID}" ]]; then
    containers=$(docker network inspect "$net" \
      --format '{{len .Containers}}' 2>/dev/null || echo "in-use")
    if [ "$containers" = "0" ]; then
      docker network rm "$net" 2>/dev/null || true
    fi
  fi
done

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

matrix:
  portal:
    - name: system-auth
      system_email: "system-admin@saru.local"
    - name: system-entities
      system_email: "system-entities@saru.local"
    - name: system-products
      system_email: "system-products@saru.local"
    - name: system-misc
      system_email: "system-misc@saru.local"

1
2

# ⚠️ これは動かない（文字列結合はhashFiles内で使えない）
key: ${{ runner.os }}-turbo-${{ hashFiles('apps/' + matrix.app + '/**') }}

1
2

# ✅ format()ヘルパーを使う
key: ${{ runner.os }}-turbo-${{ matrix.app }}-${{ hashFiles(format('apps/{0}/**', matrix.app), 'packages/**', 'pnpm-lock.yaml', 'turbo.json') }}

1
2
3
4

# Up → Down 1ステップ → 再Up
DATABASE_URL="..." go run ./cmd/migrate -action up
DATABASE_URL="..." go run ./cmd/migrate -action down -steps 1
DATABASE_URL="..." go run ./cmd/migrate -action up

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

- name: Diagnose PostgreSQL on failure
  if: failure()
  run: |
    # コンテナの状態
    docker inspect "${POSTGRES_CONTAINER}" --format '{{.State.Status}}'

    # アクティブ接続
    docker exec "${POSTGRES_CONTAINER}" psql -U test -h 127.0.0.1 \
      -c "SELECT datname, count(*) FROM pg_stat_activity GROUP BY datname;"

    # コンテナログ（直近30行）
    docker logs "${POSTGRES_CONTAINER}" --tail 30

    # ホストのメモリ状況
    free -h

1
2

strategy:
  max-parallel: 2  # ディスク枯渇防止のため同時実行を制限