获课：xingkeit.top/17418/

网站数据采集：一场与"脏数据"的持久战

做数据采集这个项目之前，我以为最大的难点是反爬策略和IP封禁。真正上手之后才发现，技术上的对抗只是开胃菜，数据清洗和组织才是真正的主菜。 从网站上扒下来一堆看似规整的数据，落到Excel里却是一团乱麻，这件事本身比任何反爬机制都更让人崩溃。

采集之前的"侦察"比采集本身更重要

新手做爬虫最容易犯的错误就是拿到URL就直接写解析代码，等跑起来才发现网页结构和预想的不一样。我现在的习惯是：写任何一行解析代码之前，先花半天时间做"侦察"。 打开浏览器的开发者工具，逐条看网络请求，找到真正承载数据的那个接口而不是在HTML里费力地抠。很多网站的数据其实是前端通过异步请求加载的，你盯着页面元素找xpath，可能找到的只是骨架，真正的数据藏在某个返回JSON的API里。

侦察阶段还要做一件事：搞清楚数据更新的频率和规律。有些网站每天凌晨更新前一天的数据，有些是实时推送，有些只有工作日才有新内容。如果你不了解这个规律，调度策略就无从设计，要么频繁空跑浪费资源，要么间隔太久漏掉数据。数据采集的调度策略本质上是对目标网站更新节奏的"被动跟随"，只有摸透了对方的节拍，你的采集器才能踩准点。

还有一个侦察要点是站点对爬虫的容忍度。发几个测试请求看看返回状态码、感受一下响应时间、如果触发了反爬，是直接封IP还是只返回验证页面。这些信息决定了你要不要上代理池、要不要设随机延迟、要不要用浏览器模拟。侦察阶段多花的时间，会在后续的稳定运行中以百倍的效率回报回来。

解析策略的"鲁棒性"设计

网页结构是会变的。今天你写死了div[3]下的第二个li标签，后天前端一改版，整个解析就全废了。对付这个问题，我现在的策略是"宁可多取一层再过滤，也不要精准定位到唯一路径"。用CSS选择器或者xpath时，尽量选择带有稳定class或id的容器，在容器内部再做二次筛选，而不是一条表达式直接定位到最深的叶子节点。路径写得越具体，代码就越脆弱；路径写得越宽泛，对网页结构变化的抵抗力就越强。

更进一步的防御策略是做"字段级兜底"。如果一个字段的解析结果为空或者格式明显不对（比如期望的数字变成了字母），不要直接存空值，而是触发一次"重新解析"——用备用的选择器路径再尝试一次，或者记录一条告警日志让人工介入。这套兜底机制在常规情况下几乎不会被触发，但一旦网站结构发生微调，它能帮你争取到从发现异常到修复代码之间的时间窗口，不至于在用户看到数据缺口之后你才后知后觉。

Excel存储的"陷阱"和"对策"

用Excel存数据，好处是直观，业务方打开就能看、就能处理，但坏处是一旦数据量上去，Excel就成了最大的不确定因素。先说格式问题——网页里提取出来的数字可能是"1,234.56"这种带千分位的字符串，直接写进Excel会被识别为文本而不是数字，后续做公式计算就全废了。你必须在写入前做好类型转换，把千分位去掉、把百分比转成小数、把日期字符串统一成Excel能识别的格式。

更大的坑是编码问题。中文内容写入CSV时，如果编码选了UTF-8，业务方用Excel打开就是乱码。但如果你把编码设成GBK，其他系统读这个文件又会有问题。我最后找到的解法是放弃CSV，改用OpenXML格式写真正的.xlsx文件——这种格式对中文的支持好得多，而且支持多sheet、支持格式保留、支持数据验证，功能上比CSV强了不止一个级别。代价是库依赖重了一些，但换来的是"业务方打开文件不再电话轰炸"的安宁。

数据量超过十万行之后，Excel本身的性能瓶颈就显现了。打开慢、筛选卡顿、公式计算转圈。如果有长期的数据积累计划，建议把Excel定位成"对外交付格式"和"人工校验界面"，把"存储"这件事交给真正的数据库。用SQLite做本地存储是一个不错的折中方案——单文件、零配置、支持SQL查询、和Excel有良好的导入导出接口。采集程序写入SQLite，需要交付给业务方的时候再从SQLite导出成Excel，把数据库的"稳"和Excel的"便"结合起来。

采集是"脏活"，但值得认真干

坦白说，网站数据采集在技术圈里不算高级的活，很多人觉得"不就是发请求、解HTML、存Excel嘛，有什么好讲的"。但做过的人都知道，数据采集的挑战不在技术难度，而在无穷无尽的边缘情况。 网络波动导致请求失败、网页改版导致解析失效、字符编码导致乱码、Excel行数限制导致截断、日期格式各地不同……每一个点单拿出来都小到不值得写进简历里，但它们组合在一起，就是一个让人心力交瘁的系统工程。

我在这件事上最大的感悟是：数据采集程序写的不是代码，是"应对不确定性的预案"。你预判到的异常越多，程序就跑得越稳。而"预判能力"这个东西，没有任何教程能教，只能靠一次次被现实教训出来。所以我现在的习惯是：每次因为一个没考虑到的边缘情况而踩坑，就在代码注释里写一条"教训"——不是为了给别人看，是为了提醒未来的自己，别再掉进同一个洞里。

数据是任何分析系统的基础设施，而采集是数据的第一道门。这道门开得好不好，决定了你后续所有工作的下限。 花在采集工程上的每一分投入，都会在数据分析、报表生成、模型训练的每个环节里兑现成更少的返工和更多的安心。脏活不高级，但脏活值得认真干。