Cloudflare Worker 프록시 배포 가이드

/**
 * Doping News Monitor — CORS Proxy Worker  v4.0
 * 배포 후 URL: https://doping-proxy.YOUR-SUBDOMAIN.workers.dev
 *
 * ■ 라우트
 *   GET /?url=<enc>
 *       — 일반 CORS 프록시 (Naver HTML, WADA, ITA, iNADO, ITG 크롤링)
 *
 *   GET /naver_api?query=<q>&id=<id>&secret=<sec>[&start=1][&display=100][&sort=date]
 *       — 네이버 Open API 전용 포워딩
 *         Worker가 서버→서버로 호출 → CORS/봇차단 완전 우회
 *
 *   GET /google_rss?url=<enc>
 *       — 구글 뉴스 RSS XML 직접 획득 (v4.0 신규)
 *         Worker 서버 IP로 Google에 요청 → 브라우저 IP 차단 우회
 *         rss2json.com 없이도 구글 뉴스 수집 가능
 *
 * ■ 봇 차단 우회 원리
 *   브라우저 → Worker (CORS 허용) → 대상 서버 (서버간 호출, 봇차단 없음)
 *   - 네이버: X-Naver-Client-Id / X-Naver-Client-Secret 헤더 대신 전달
 *   - 구글:   Cloudflare 서버 IP → Google 뉴스 RSS 직접 호출
 *
 * ■ v4.0 변경사항
 *   - /google_rss 라우트 추가 → 구글 봇차단 완전 우회
 *   - /naver_api: start 파라미터 지원 (페이징 최대 300건)
 *   - handleProxy: Chrome 135 UA + Sec-Fetch 헤더
 */
export default {
  async fetch(request, env, ctx) {
    const url = new URL(request.url);

    // ── CORS preflight ──────────────────────────────────────────
    if (request.method === "OPTIONS") {
      return new Response(null, { status: 204, headers: corsHeaders() });
    }

    // GET 이외 차단
    if (request.method !== "GET") {
      return jsonError(405, "GET 메서드만 허용됩니다.");
    }

    // ── 라우트: /google_rss — 구글 뉴스 RSS 직접 획득 (v4.0) ────
    if (url.pathname === "/google_rss" || url.pathname === "/google_rss/") {
      return handleGoogleRSS(url.searchParams);
    }

    // ── 라우트: /naver_api ──────────────────────────────────────
    if (url.pathname === "/naver_api" || url.pathname === "/naver_api/") {
      return handleNaverAPI(url.searchParams);
    }

    // ── 라우트: / — 일반 CORS 프록시 ────────────────────────────
    return handleProxy(url.searchParams);
  },
};

// ============================================================
// 구글 뉴스 RSS 직접 획득 핸들러 (v4.0 신규)
// GET /google_rss?url=
// ============================================================
async function handleGoogleRSS(params) {
  const rawUrl = params.get("url");
  if (!rawUrl) {
    return jsonError(400, "url 파라미터가 필요합니다.");
  }

  let targetUrl;
  try {
    targetUrl = new URL(decodeURIComponent(rawUrl));
  } catch (e) {
    return jsonError(400, "유효하지 않은 URL: " + e.message);
  }

  // 구글 뉴스 도메인만 허용
  if (targetUrl.hostname !== "news.google.com") {
    return jsonError(403, "news.google.com 도메인만 허용됩니다.");
  }

  try {
    const controller = new AbortController();
    const timer = setTimeout(() => controller.abort(), 20000);

    const resp = await fetch(targetUrl.href, {
      signal: controller.signal,
      headers: {
        // Google은 브라우저처럼 보이는 요청 선호
        "User-Agent":
          "Mozilla/5.0 (Windows NT 10.0; Win64; x64) " +
          "AppleWebKit/537.36 (KHTML, like Gecko) " +
          "Chrome/135.0.0.0 Safari/537.36",
        "Accept":          "application/rss+xml, application/xml, text/xml, */*",
        "Accept-Language": "ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7",
        "Accept-Encoding": "gzip, deflate, br",
        "Cache-Control":   "no-cache",
        "Referer":         "https://news.google.com/",
      },
      redirect: "follow",
    });
    clearTimeout(timer);

    if (!resp.ok) {
      return jsonError(resp.status, `Google RSS HTTP ${resp.status}`);
    }

    const body = await resp.text();

    // HTML 페이지가 반환된 경우 (봇 차단) 에러 처리
    const trimmed = body.trim();
    if (/^]/i.test(trimmed)) {
      return jsonError(503, "Google에서 HTML 페이지 반환 (봇 차단). 잠시 후 다시 시도하세요.");
    }

    return new Response(body, {
      status: 200,
      headers: {
        ...corsHeaders(),
        "Content-Type":     "application/xml; charset=utf-8",
        "X-Proxied-Status": String(resp.status),
        "X-Via":            "cf-worker-google-rss",
        "X-Worker-Version": "4.0",
      },
    });
  } catch (err) {
    const isTimeout = err.name === "AbortError";
    return jsonError(
      isTimeout ? 504 : 502,
      isTimeout ? "Google RSS 타임아웃 (20초 초과)" : "Google RSS 요청 실패: " + err.message
    );
  }
}

// ============================================================
// 네이버 Open API 포워딩 핸들러 (서버→서버, CORS 우회)
// ============================================================
async function handleNaverAPI(params) {
  const query   = params.get("query")   || "";
  const id      = params.get("id")      || "";
  const secret  = params.get("secret")  || "";
  const display = params.get("display") || "100";
  const sort    = params.get("sort")    || "date";
  const start   = params.get("start")   || "1";

  if (!query || !id || !secret) {
    return jsonError(400, "query, id, secret 파라미터가 필요합니다.");
  }
  // display 범위 보정 (1~100)
  const safeDisplay = Math.min(100, Math.max(1, parseInt(display, 10) || 100));
  // start 범위 보정 (1~1000)
  const safeStart   = Math.min(1000, Math.max(1, parseInt(start, 10) || 1));

  const apiUrl = "https://openapi.naver.com/v1/search/news.json?" +
    new URLSearchParams({
      query,
      display: String(safeDisplay),
      sort,
      start:   String(safeStart),
    });

  try {
    const controller = new AbortController();
    const timer = setTimeout(() => controller.abort(), 30000); // 30초 타임아웃

    const resp = await fetch(apiUrl, {
      signal: controller.signal,
      headers: {
        "X-Naver-Client-Id":     id,
        "X-Naver-Client-Secret": secret,
        "Accept":                "application/json",
        "User-Agent":            "DoingNewsMonitor/3.0 (Cloudflare Worker; server-to-server)",
      },
    });
    clearTimeout(timer);

    const body = await resp.text();

    // 401/403/429는 상태 코드를 그대로 전달 → 브라우저에서 정확한 오류 처리 가능
    return new Response(body, {
      status: resp.status,
      headers: {
        ...corsHeaders(),
        "Content-Type":     "application/json; charset=utf-8",
        "X-Proxied-Status": String(resp.status),
        "X-Via":            "cf-worker-naver-api",
        "X-Worker-Version": "4.0",
      },
    });
  } catch (err) {
    const isTimeout = err.name === "AbortError";
    return jsonError(
      isTimeout ? 504 : 502,
      isTimeout ? "네이버 API 타임아웃 (30초 초과)" : "네이버 API 요청 실패: " + err.message
    );
  }
}

// ============================================================
// 일반 CORS 프록시 핸들러 (HTML/XML 크롤링)
// ============================================================
async function handleProxy(params) {
  const rawUrl = params.get("url");

  if (!rawUrl) {
    return jsonError(400, "url 파라미터가 필요합니다.");
  }

  let parsedUrl;
  try {
    parsedUrl = new URL(decodeURIComponent(rawUrl));
  } catch (e) {
    return jsonError(400, "유효하지 않은 URL: " + e.message);
  }

  // https 전용 (http 차단)
  if (parsedUrl.protocol !== "https:") {
    return jsonError(403, "https URL만 허용됩니다.");
  }

  // 허용 도메인 목록
  const ALLOWED_HOSTS = [
    "search.naver.com",
    "m.search.naver.com",
    "news.naver.com",
    "n.news.naver.com",
    "openapi.naver.com",
    "news.google.com",
    "www.wada-ama.org",
    "ita.sport",
    "www.ita.sport",
    "inado.org",
    "www.inado.org",
    "www.insidethegames.biz",
    "api.rss2json.com",
  ];
  const isAllowed = ALLOWED_HOSTS.some(
    h => parsedUrl.hostname === h || parsedUrl.hostname.endsWith("." + h)
  );
  if (!isAllowed) {
    return jsonError(403, "허용되지 않은 호스트: " + parsedUrl.hostname);
  }

  try {
    const controller = new AbortController();
    const timer = setTimeout(() => controller.abort(), 25000); // 25초 타임아웃

    const resp = await fetch(parsedUrl.href, {
      signal:   controller.signal,
      redirect: "follow",
      headers: {
        // 최신 Chrome 135 UA — 봇 차단율 감소
        "User-Agent":
          "Mozilla/5.0 (Windows NT 10.0; Win64; x64) " +
          "AppleWebKit/537.36 (KHTML, like Gecko) " +
          "Chrome/135.0.0.0 Safari/537.36",
        "Accept":
          "text/html,application/xhtml+xml,application/xml;q=0.9," +
          "image/avif,image/webp,*/*;q=0.8",
        "Accept-Language": "ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7",
        "Accept-Encoding": "gzip, deflate, br",
        "Cache-Control":   "no-cache",
        "Pragma":          "no-cache",
        "Referer":         "https://www.naver.com/",
        // Sec-Fetch 헤더: 일반 브라우저 요청처럼 보이게
        "Sec-Fetch-Dest":  "document",
        "Sec-Fetch-Mode":  "navigate",
        "Sec-Fetch-Site":  "none",
        "Sec-Fetch-User":  "?1",
        "Upgrade-Insecure-Requests": "1",
      },
    });
    clearTimeout(timer);

    const contentType = resp.headers.get("content-type") || "text/plain; charset=utf-8";
    const body = await resp.text();

    return new Response(body, {
      status: resp.status,
      headers: {
        ...corsHeaders(),
        "Content-Type":     contentType,
        "X-Proxied-Status": String(resp.status),
        "X-Via":            "cf-worker-proxy",
        "X-Worker-Version": "4.0",
      },
    });
  } catch (err) {
    const isTimeout = err.name === "AbortError";
    return jsonError(
      isTimeout ? 504 : 502,
      isTimeout ? "프록시 타임아웃 (25초 초과)" : "프록시 요청 실패: " + err.message
    );
  }
}

// ============================================================
// 공통 유틸
// ============================================================
function corsHeaders() {
  return {
    "Access-Control-Allow-Origin":  "*",
    "Access-Control-Allow-Methods": "GET, OPTIONS",
    "Access-Control-Allow-Headers":
      "Content-Type, Accept, X-Naver-Client-Id, X-Naver-Client-Secret",
    "Access-Control-Max-Age": "86400",
  };
}

function jsonError(status, message) {
  return new Response(
    JSON.stringify({ error: message, status }),
    {
      status,
      headers: {
        ...corsHeaders(),
        "Content-Type":     "application/json; charset=utf-8",
        "X-Worker-Version": "4.0",
      },
    }
  );
}