先确认真实 HTTP 状态码，再伪造 User-Agent 等请求头；若仍 404，需检查是否 JS 渲染、WAF 拦截或 API 接口，而非强行用 PHP 渲染页面。
PHP 用 file_get_contents 抓取返回 404 怎么办
不是目标页面真不存在，而是 file_get_contents 默认不发送User-Agent，多数搜索引擎或反爬站点会直接返回 404 或 302 跳转。它本质是 HTTP 客户端行为，不是“搜索引擎抓取”，别被标题误导。
- 检查响应状态：先用
get_headers($url)确认真实 HTTP 状态码，别只看file_get_contents是否返回空字符串 - 必须伪造请求头：
$opts = ['http' => ['method' => 'GET', 'header' => "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36rn" ] ]; $context = stream_context_create($opts); $content = file_get_contents($url, false, $context); - 若仍 404，说明目标站做了 Referer 校验、Cookie 校验或 JS 渲染——
file_get_contents无法处理这些，得换方案
cURL 抓取时收到 404 但浏览器能打开
常见于目标页依赖 JavaScript 动态加载内容，或服务端根据 Accept、Accept-Language 等头判断客户端类型。cURL 默认头极简，容易被识别为非浏览器流量。
- 补全关键请求头：
$ch = curl_init($url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); curl_setopt($ch, CURLOPT_HTTPHEADER, [ 'User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36', 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Accept-Language: en-US,en;q=0.5', 'Accept-Encoding: gzip, deflate', 'Connection: keep-alive', ]); $content = curl_exec($ch); - 开启
CURLOPT_FOLLOWLOCATION，避免因 301/302 跳转未跟随导致误判 404 - 用
curl_getinfo($ch, CURLINFO_HTTP_CODE)确认真实状态码，别依赖$content === false
PHP 抓取需绕过 前端 渲染（如 React/Vue SPA）
如果目标页 HTML 里只有
，而内容靠 JS 异步拉取，PHP 原生 HTTP 函数完全无效——它们不执行 JS，只拿原始 HTML。
- 不要硬扛：PHP 不适合做无头浏览器，强行用
exec('node scraper.js')调用 Puppeteer 既慢又难维护 - 优先查 API：打开浏览器开发者工具→Network→XHR/Fetch，找真实数据接口，直接用 PHP 请求那个 JSON 地址
- 若必须渲染，用专用服务：比如部署一个 Headless Chrome 实例，通过 HTTP API（如 Chrome DevTools Protocol 封装服务）提交 URL 获取渲染后 HTML，PHP 只负责发请求收结果
404 不是错误，而是信号
当 PHP 抓取持续返回 404，第一反应不该是“怎么让代码不报错”，而是验证：这个 URL 是否本就该 404？有没有权限限制？是不是临时下线？有没有 robots.txt 禁止抓取？
立即学习“PHP 免费学习笔记（深入）”；
-
file_get_contents和 cURL 只是工具，不能替代对目标站点规则的理解 - 加日志记录完整请求 URL、时间、
curl_getinfo返回的http_code、redirect_url、size_download - 很多所谓“404 问题”，其实是目标站启用了 Cloudflare 等 WAF，返回的是 HTML 格式的拦截页，HTTP 状态码却是 200——这时要检查响应体是否含
"Checking if the site connection is secure"这类特征字符串
