简介这是一份网站扒站与仿站场景的实用工具包面向需要快速研究站点结构、离线分析网页资源或学习网页克隆技术的开发者和技术爱好者。包内提供 Teleport Ultra 工具本体及相关组件可系统化下载网页中的 HTML、CSS、JavaScript、图片等资源并支持自定义抓取范围、内容过滤、定时调度与完整镜像生成便于本地浏览和对比分析。RAR 压缩包内共 10 个文件主要包含 3 个可执行程序、3 个 tpu 示例工程文件、PDF 操作手册、HTM 帮助页及配置数据等整体大小约 1.01MB结构紧凑便于快速部署使用。目前已有 2625 人学习/下载资源中还附带多个示例工程与说明文档能帮助使用者快速理解抓取规则、排除策略及站点镜像的设置方法有效提升扒站效率。需要提醒的是扒站工具应仅用于学习、测试或已获授权的场景切勿用于侵权或商业滥用。 做网站镜像备份的老手基本都离不开一类叫“网站扒站工具”的软件。名字听着有点灰实际用起来就是把整个网站的文件复制一份到本地HTML、CSS、JS、图片、字体连目录结构都尽量还原。十几年前很多人拿它把别人站点整个拉下来改模板现在更常见的用途反而是正经事自己项目的离线备份、文档站归档、上线前的整站迁移、断网环境下的演示副本。会写脚本的人通常第一反应是自己写爬虫但真碰到中小站点、传统官网、没做前端工程化的文档站手写爬虫反而容易漏文件、断链接。扒站工具的核心动作只有一个递归抓取页面解析页面里的链接再根据规则决定哪些继续抓、哪些不抓最后把所有资源按原结构落到本地。今天这篇就围绕这个核心把常用工具、命令参数、踩坑经验一次说清楚。1. 扒站之前先搞清楚你扒的到底是什么1.1 适合整站镜像的站点长什么样扒站工具不是万能的第一步不是打开软件而是先判断目标站点适不适合整站保存。最适合的是那种服务端直接渲染HTML的站点打开网页点右键“查看源代码”正文、标题、图片地址都实实在在写在HTML里。这种站结构简单wget、HTTrack这类工具一抓一个准基本还原度能达到九成以上。不适合的是单页应用SPA典型特征是页面内容靠JavaScript动态渲染右键查看源码只有一堆空壳div和script引用。这类站用传统扒站工具会抓到一堆“空壳页面”看起来下载了所有文件实际上文字、图片全是异步加载的。真要做离线归档得配合Puppeteer、Playwright这类无头浏览器先渲染再保存这已经不是普通扒站工具的范畴了。我的经验是动手之前先在浏览器里打开目标站按下CtrlU看源码。如果正文直接可见放心扒如果源码里全是JS文件老老实实换方案别浪费时间。1.2 扒站工具和爬虫是什么关系本质上扒站工具就是一段封装好的爬虫程序。普通爬虫偏重“抽取数据”把标题、价格、文章正文存到数据库扒站工具偏重“还原资源”把HTML、CSS、JS、图片、字体原封不动存成文件目录顺便改写页面里的绝对链接让本地能直接打开浏览。这个差异决定了使用方式。比如我想下载一个框架的离线文档扒站工具就是最优解我的目标不是把文档内容塞进Excel而是保留整站可浏览结构。反过来如果我想监控某个商品的价格变化应该用爬虫框架而不是扒站工具。搞清楚自己要“数据”还是“站点”工具选型才不会跑偏。2. 工具选型命令行党、图形党还是在线派2.1 先把几款主流工具摆上桌工具类型核心优势适合场景wget命令行Linux/Windows自带或一行命令装好参数细、可脚本化服务器运维、批量镜像、定时备份HTTrack图形界面可视化配置、断点续传、过滤规则友好非技术用户做离线存档、教程站镜像Teleport Pro图形界面老牌多级项目模板支持排除规则Windows老环境、特定私有化需求SiteSuckermacOS图形界面简单干净一键镜像Mac用户日常归档SingleFile浏览器扩展保存单页为单独HTML临时保存某个页面不整站wget和HTTrack是绝对主力。wget在Linux服务器上几乎是预装软件适合放到crontab里做定时镜像HTTrack有完整图形界面下载后双击就能浏览适合不想碰命令行的用户。2.2 为什么我不推荐在线扒站服务网上有不少在线“整站下载”服务输入网址就给你打包下载。这类服务对个人用户确实方便但要谨慎它需要你把网站完整URL提交给第三方服务器等于无形中把站点内容、目录结构、源码细节全部暴露给服务商。如果是自己的站点做迁移备份问题不大如果是抓取第三方站点做学习研究强烈不建议用在线服务既容易泄露抓取痕迹也容易引起对方站点反感。本地跑wget或HTTrack抓取范围、请求频率、文件保存位置都在自己手里控制这才是正经做法。3. 实操一条wget命令带走整个站点3.1 动手前先摸清站点底细开始执行命令之前我会先花两分钟做三件事。第一看一眼目标站的robots.txt确认哪些目录允许抓取、哪些明确禁止第二查看有没有sitemap.xml有的话能快速了解站点整体结构知道页面总数和资源层级第三抓一个页面看站内链接是怎么写的是相对路径还是绝对路径静态目录有没有明显规律。这一步不是浪费时间。很多扒站失败都是因为没搞清站点结构有的站把图片放在单独的CDN域名下如果不额外添加域名规则本地镜像会缺图有的站有翻页参数、排序参数不去重会抓出大量重复页面。先花几分钟摸清底细后面能少走很多弯路。3.2 命令逐个参数拆解wget做整站镜像的经典命令长这样wget --mirror \ --convert-links \ --page-requisites \ --adjust-extension \ --restrict-file-namesunix \ --no-parent \ --limit-rate500k \ --wait2 \ --random-wait \ --user-agentMozilla/5.0 (Windows NT 10.0; Win64; x64) \ --no-check-certificate \ https://example.com/docs/逐个说关键参数。--mirror是核心等价于开启递归抓取、不限深度、启用时间戳、支持断点续传语义就是“做个全量镜像副本”。--convert-links会把页面里的绝对链接改写成相对路径这样本地双击index.html就能直接浏览不会跳到外网。--page-requisites表示除了HTML本身还要把渲染页面必需的CSS、JS、图片、字体都下载下来没有这个参数经常出现“网页能开但样式全丢”的问题。--adjust-extension给不带.html后缀的URL补上.html比如/article?id123会保存成article?id123.htmlWindows下浏览省很多麻烦。--restrict-file-namesunix让生成的文件名兼容跨平台不出现冒号、问号这种非法字符。--no-parent限制不往上一级目录爬避免从/docs/一路抓到网站根目录甚至别的目录去。反爬和礼貌方面--limit-rate500k限制带宽--wait2和--random-wait让每次请求间隔2秒并随机波动模拟人类浏览节奏不至于几十个请求连发直接被封IP。--user-agent设置成常见浏览器UA很多站点会拦截wget的默认UA。--no-check-certificate只在目标站HTTPS证书有问题时用如果证书正常建议去掉保留证书校验更安全。3.3 执行后怎么检查结果命令跑完不要急着走先看两个地方。一是wget输出的日志重点看HTTP状态码404说明链接失效403说明被服务器拒绝503说明请求太频繁触发限流。二是看本地生成的文件大小和数量用du -sh看总大小用find . -type f | wc -l统计文件数和站点sitemap里的资源量做粗略对比差异过大说明有漏抓。我在实操中习惯加一个--output-filewget.log参数把日志保存下来抓取结束后用grep -E 403|404|503 wget.log | sort -u快速定位异常URL。这个习惯能节省大量排查时间。4. HTTrack图形界面与参数调优4.1 新建项目和基础设置HTTrack是扒站工具里的老牌选手Windows下装完即用。打开软件第一步新建项目填项目名和保存路径然后在URL栏填入起始地址。第二个界面会问“项目名称”保持默认即可到了设置页最关键的是把线程数从默认的8调低到2至3对大多数中小站点来说8线程并发抓取太激进容易触发反爬。浏览器标识选项里HTTrack默认会带自己的标识我建议手动改成Chrome的完整UA字符串。原因是很多站点的访问日志会识别HTTrack特征并拒绝改成普通浏览器UA后抓取成功率明显提升。设置页面里还能配置请求间隔推荐“遵守robots.txt”和“延迟2秒”一起打开既是礼貌抓取也是降低被封概率。4.2 过滤规则和深度限制HTTrack的过滤规则很实用。在“扫描规则”里可以指定只抓当前站点排除外链可以设置最大递归深度比如只抓3层以内的页面还可以排除文件类型比如不下载视频、压缩包缩小镜像体积。更精细的需求通过“链接过滤”实现。有些站点会给URL带上会话ID或统计参数比如?sessionxxx这类参数会导致同一个页面被抓几十次。在过滤规则里把带session、utm_参数的URL排除掉能减少大量垃圾请求。下载完成后HTTrack会在项目目录下生成一个以站点名为名的文件夹里面就是镜像站的全部内容此外还有hts-cache目录保存抓取状态下次打开项目选择“继续”就能增量更新不用重新全量抓取。5. 镜像完之后的文件怎么用5.1 目录结构原来藏着这些信息镜像完成后打开本地目录你会发现站点的目录层级被完整还原了css/、js/、images/这些资源目录一目了然正文页面按原路径层层嵌套。找到一个index.html双击打开正常情况能看到和原站几乎一样的页面图片样式都在只是访问地址变成了本地文件。这个副本对学习前端布局特别有用。我经常拿镜像站的CSS文件来研究别人是怎么做栅格系统、怎么命名类名、怎么组织媒体查询的。很多传统站点的前端没有压缩混淆直接读源码比网上找教程更直观。如果目的是迁移站点这份目录结构还能直接作为参考对照梳理新旧网站的URL映射关系。5.2 动态页面变成静态页面之后抓下来的URL如果带查询参数HTTrack或wget会转成带.html后缀的静态文件。这意味着原本依赖服务端动态生成的页面在本地是以静态文件形式存在的不能指望它还能执行模板逻辑、查询数据库。适合用来做内容浏览和历史存档不适合试图再改造成动态站点。这类静态副本用来做本地搜索也很好用把镜像目录整个人拖进VS Code用全局搜索就能快速检索站点里出现过的关键词、函数名、接口地址比在线打开网页一页页翻效率高得多。6. 扒站过程里最常见的坑6.1 页面明明能开抓下来全是403或429403和429是扒站时最常碰到的状态码。403一般代表服务器拒绝了当前请求常见原因是UA被识别、缺少Referer头、或者IP段被限制429则是请求过于频繁触发了限流。我的处理流程是先看403页面返回内容里有没有“User-Agent”相关字样有就把UA换成最新版Chrome并补上--referer目标站域名如果还是403把--wait提高到5秒以上加--random-wait。429就更直接线程数调低、间隔拉长不要硬刚。扒站本质是低频、礼貌的复制活儿不是压测。6.2 懒加载图片全是占位图很多新站点用懒加载策略图片不是直接写在img标签里而是放在style="width:16px;margin-left:4px;vertical-align:text-bottom;cursor:text;" />
