简介一套基于Python语言的知网爬虫设计源码面向需要自动抓取中国知网学术数据的研究人员、数据分析师与爬虫爱好者能够有效解决人工检索效率低、批量采集难的问题。该资源包共包含24个文件压缩后大小约为97KB文件类型较为丰富包括5个Python源文件、7个XML配置文件、4个文本文件、2个Git忽略文件、2个Idea项目文件以及Excel、Git属性、许可证和配置信息等分别承担爬虫核心逻辑、抓取规则定义、运行日志记录、版本控制、项目结构配置和最终数据存储等功能分工细致便于查看和修改。项目内集成了请求发送、页面内容解析、验证码识别、参数配置等模块用户通过调整配置文件即可灵活设置请求头、代理、抓取间隔等关键参数以适应知网平台的访问策略代码采用模块化组织对理解爬虫设计思路、学习反爬应对方法都很有帮助。目前该资源已有331人学习下载适合初中级开发者作为参考案例也适合需要快速搭建知网数据抓取工具的实际应用场景。1. 基于Python的知网爬虫设计难点不在库的使用而在检索链路还原“基于Python语言的知网爬虫设计源码”这个标题懂行的人会更在意“设计”这两个字。原因很直接知网不是那种提供公开稳定API的站点检索请求的路径、参数名、Cookie校验逻辑都跟着前端版本迭代变动旧教程里的代码复制下来大概率只能跑出验证页。真正决定一个知网爬虫能不能用的是你能否通过一次真实浏览器操作把服务端期望的请求格式精确还原成Python参数。这个工作的占比可能要到七成剩下三成才是写requests、解析页面和存CSV。本文按这条路线展开先讲如何用开发者工具抓取知网检索请求再给出一个可本地运行的最小Python源码骨架接着处理随机延迟、User-Agent轮换与验证码自愈最后落到并发参数和数据完整性校验。该方案只采集公开页面的题录元数据不涉及全文下载和任何授权操作适合做文献计量分析的工程师也适合想系统了解学术数据库爬虫设计思路的开发新人。2. 拆解知网检索请求从DevTools到参数表的链路还原方法采集任何会话类网站之前最重要的一步都应该是观察浏览器到底发出了什么而不是先写代码。知网的前端框架经历过多次重构从传统表单提交变成了JS动态加载检索结果有时由服务端直接渲染成HTML片段有时又以内嵌JSON的方式传给前端组装接口路径和参数名没有长期有效的外部文档。如果你照搬了一篇过时的教学文章大概率会得到一个状态码200、内容却是空列表的响应。用开发者工具检查一遍真实流量之后你手里的信息就不再是猜测而是一份可以直接翻译成Python代码的协议基线。2.1 用开发者工具观察知网检索请求的顺序还原知网检索请求的标准流程可以分成六步这个方法适用于当前主流桌面浏览器。打开Chrome或Edge的无痕窗口先访问知网首页等页面完全加载。按F12打开开发者工具切换到Network面板勾选Preserve log选项。这个选项保证了页面发生跳转或局部刷新时请求记录不会被自动清空。在Network面板的过滤栏输入fetch或xhr把图片、CSS、字体这些静态资源请求过滤掉。在检索框输入一个测试关键词例如“联邦学习”点击检索按钮。回到Network面板找到类型为POST的那条记录。如果有多条记录逐一查看响应内容返回文献列表的就是目标接口。点击该记录依次查看General、Request Headers、Form Data或Payload三个区域把URL、请求头键值、表单字段全部复制到一个临时文件里。整套抓包过程不需要第三方工具浏览器本身就是最可靠的协议分析器。实际抓包时Network面板里通常能看到一条POST请求名称和路径会因知网版本不同而存在差异。我的习惯是把这条请求保存成Har格式后续对照参数时不用反复切窗口。2.2 知网检索请求关键参数的对照表把抓到的Form Data整理出来就能得到一张类似下面的参数映射表。不同改版阶段参数名可能略有差异但语义基本一致。参数名传输位置示例值作用说明kwForm Data联邦学习检索关键词决定结果集的最核心字段korderForm DataSU排序方式SU按相关度date按发表时间pageForm Data1页码不同版本可能从0或1开始PageSizeForm Data20每页条数部分版本对上限有隐式限制dbcodeForm DataCJFQ检索范围CJFQ期刊CDMD学位论文有些版本还会要求携带动态生成的token字段这个token在每次刷新首页时都会变化不能硬编码。做法是从首页HTML的全局变量里解析出来或者直接利用某个隐藏的脚本初始化请求。因此代码设计里必须先发起一次首页GET请求拿到包含token字段的页面然后基于这个页面提取出动态值再构建后续的POST参数。对于第2.1节抓包观察到的其他隐藏字段能做同样的动态提取就不要写死。2.3 请求头、Cookie与会话一致性是统一的整体抓取知网检索请求时很多初写爬虫的开发者会忽略一个关键事实POST请求能不能成功取决于它是否使用了与首页相同的会话凭证。知网的服务端在校验请求头时首先检查Referer是否来自知网自己的域名其次检查Cookie里有没有合理生成的会话标记两者都通过后才会进入参数校验。如果直接用requests.get打开一个无Session的GET再提交POST或请求头里缺失Referer服务端通常不会返回数据而会返回一个验证页或空白页面。把这个观察结果翻译到Python代码里时就使用requests.Session()维持整个会话。Session对象会自动保存服务端下发的Cookie在后续POST时原样携带保证请求头与Cookie的版本一致。请求头模板里至少要有User-Agent、Accept-Language、Referer三项内容参照浏览器抓包所得。2.4 匿名会话的边界题录可访问全文受限设计知网爬虫时还有一个前提需要明确匿名会话可以访问检索结果、题录摘要、被引频次这类公开元数据这些内容本就会展示给搜索引擎和普通访客属于适合采集的公开信息。但下载PDF全文或导出批量参考文献依赖机构订阅授权需要登录账号或经过校园网认证。把爬虫目标限定在题录层跑通链路、完成分析需求即可。遇到返回登录页或权限提示时代码应该保存现场并停止而不是通过猜测参数去碰鉴权逻辑。3. 能跑起来的知网爬虫Python源码Session、解析与CSV落盘前面把请求格式分析清楚之后这一章给出一个能在本地运行的最小Python源码骨架。代码采用模块化写法会话初始化、检索、解析、保存各自独立成函数后续做并发或者换采集目标时只需修改对应函数而不用重写整条链路。3.1 用requests.Session完成会话初始化与首页预热import time import requests BASE_URL https://kns.cnki.net def init_session(): session requests.Session() session.headers.update({ User-Agent: ( Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 ), Accept: */*, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Referer: BASE_URL /, }) resp session.get(BASE_URL, timeout15) resp.raise_for_status() time.sleep(0.5) return session这段代码做四件事创建Session对象写入浏览器样式的请求头请求一次知网首页以取得会话Cookie通过sleep保留访问间隔。timeout设成15秒是因为知网首页加载的脚本和静态资源较多超时阈值太低容易出现假失败。sleep的0.5秒也是有意为之目的是让后续POST请求的时间点与首页访问拉开距离避免被识别为机器批量写入。3.2 检索函数与页面解析函数的模块化封装from bs4 import BeautifulSoup def search_keyword(session, keyword, dbcodeCJFQ, page1): search_url BASE_URL /kns8s/defaultresult/index form_data { kw: keyword, dbcode: dbcode, korder: SU, page: str(page), PageSize: 20, } resp session.post(search_url, dataform_data, timeout20) resp.raise_for_status() resp.encoding utf-8 return resp.textsearch_url路径取自第2.1节抓包阶段观察到的常见路径版本不同入口可能不同。POST的data参数传字典requests会按表单格式application/x-www-form-urlencoded提交这和浏览器检索时的请求体类型一致。函数把关键词、数据库范围、页码全部抽成参数方便后续循环和并发调度。解析函数负责从返回的HTML中提取文献信息def parse_result(html): soup BeautifulSoup(html, html.parser) records [] rows soup.select(table.result-table-list tr) for tr in rows: tds tr.select(td) if len(tds) 5: continue records.append({ title: tds[0].get_text(stripTrue), author: tds[1].get_text(stripTrue), source: tds[2].get_text(stripTrue), date: tds[3].get_text(stripTrue), cited: tds[4].get_text(stripTrue), }) return records解析器通过CSS选择器定位结果表格每一行对应一条文献。get_text(stripTrue)会去掉单元格内的空白字符和换行减少后续CSV写入时的脏数据。如果抓包时发现服务端返回的是JSON而非HTML解析逻辑改为json.loads提取列表再重组为同样的records结构即可下游代码不用改。3.3 多页抓取与CSV导出的完整闭环import csv def save_to_csv(records, filenamecnki_records.csv): with open(filename, w, newline, encodingutf-8-sig) as f: writer csv.DictWriter(f, fieldnames[title, author, source, date, cited]) writer.writeheader() writer.writerows(records) return len(records) def crawl_keyword(keyword, max_pages5): session init_session() all_records [] for page in range(1, max_pages 1): html search_keyword(session, keyword, pagepage) page_records parse_result(html) all_records.extend(page_records) print(f第 {page} 页获取 {len(page_records)} 条) time.sleep(1) return save_to_csv(all_records, fcnki_{keyword}.csv) if __name__ __main__: print(crawl_keyword(联邦学习, max_pages5))运行python cnki_crawler.py后程序会依次抓取前5页结果并把数据写入cnki_联邦学习.csv。文件名里的关键词直接拼进路径中文文件名在Windows下可行macOS和Linux也没有问题。CSV写入指定encodingutf-8-sig而不是普通utf-8这是为了兼容ExcelWindows上直接双击csv文件时utf-8-sig的BOM头会让中文正常显示否则会出现乱码。这里有一个值得强调的设计点所有记录先暂存到内存的all_records列表全部抓完后再一次性写入文件。逐页打开文件句柄追加写入在单机小规模场景下也能工作但会带来IO抢占和部分写入的碎片问题量级上来后不利于追踪。统一内存汇总、最后落盘的写法后续增加并行处理时也更好迁移。4. 知网反爬处理随机延迟、UA轮换与验证码自愈前一套代码可以完成基础采集但直接连续翻页抓取很快会被知网的反爬机制拦下来。这一章处理的是请求节奏和异常自愈也是知网爬虫设计源码里最需要长期维护的部分。反爬规则会随站点运营策略调整下面给出的参数是在常规环境下验证过的起点不保证长期适用但策略本身是通用的。4.1 用随机延迟代替固定间隔知网对单位时间内的请求数有频率判定。固定sleep 1秒看起来已经很保守了但机器人的时间序列高度规律服务端用滑动窗口统计请求到达间隔时固定间隔反而容易被识别。更贴近真人操作的做法是让每次间隔在一个区间内随机浮动。import random def polite_delay(min_seconds1.0, max_seconds3.0): interval random.uniform(min_seconds, max_seconds) time.sleep(interval)把这段函数插入到crawl_keyword的循环体里替代原先的固定sleep(1)。参考取值上单账号单出口连续跑200页1到3秒随机间隔没有触发验证码把间隔压到0.3到0.5秒后大约在第40页开始跳出验证码。需要注意这个数值只反映某个时间段下的服务端规则部署时应从更安全的区间起步再结合返回内容逐步调整。4.2 User-Agent轮换池的写法与更新时机单一的UA即便设置了现代浏览器版本高频请求下也会积累出设备指纹特征。准备一个UA池每次请求前随机取出一个替换到Session请求头里是低成本且有效的补充手段。USER_AGENTS [ Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36, Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36, Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:123.0) Gecko/20100101 Firefox/123.0, Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, ] def rotate_ua(session): session.headers[User-Agent] random.choice(USER_AGENTS)UA池里不需要放太旧的浏览器版本过老的UA会让部分站点直接返回“浏览器不兼容”页面。调用时机放在每次检索请求前即可。需要注意的一点是多线程场景下不要多个线程共用一个Session并同时修改UA这会导致请求头竞争反而产生异常。多个线程并发的正确做法会在下一章单独说明。4.3 验证码检测、等待自愈与会话重建即使限速和UA都做了仍然存在触发验证码的概率。关键是让爬虫具备识别和自愈能力而不是程序崩溃或继续空跑。下面这段代码把验证码检测逻辑封装成独立函数def detect_captcha(html): lowered html.lower() return any(marker in lowered for marker in (verify, validate, captcha)) def safe_search(session, keyword, page, retries2): html search_keyword(session, keyword, pagepage) for _ in range(retries): if not detect_captcha(html): return html print(检测到验证码暂停180秒等待会话恢复) time.sleep(180) session init_session() html search_keyword(session, keyword, pagepage) raise RuntimeError(连续触发验证码停止当前关键词)等待时长取180秒的理由是知网验证码会话的失效期通常在两到三分钟之间等待后原有Cookie可能恢复可用。恢复无效时调用init_session重新拉取一套全新的Cookie比继续复用旧Session更有效。连续重试两次仍失败说明当前出口已经被标记继续消耗重试次数没有意义直接抛出异常由上层任务处理。5. 知网爬虫并发调优的三个参数设计worker数、会话隔离与完整性校验前面做的都是单线程采集对于几十页的文献调研任务已经够用。当关键词列表变长时并发是提升效率的必要手段但并发设计里的坑也集中在这里调试时从三个参数入手可以避免大多数问题。5.1 并发worker数量最小有效值是3到5不少资料在演示并发爬虫时直接用ThreadPoolExecutor创建几十个线程那是针对大型资讯站点的做法。知网的瓶颈在频率限制而非网络带宽线程数一多单位时间请求密度立刻超过阈值触发验证码后所有线程一起失败。经验做法是先用3个worker跑一个样本集观察响应成功率和完成时间没有验证码再把上限提到5。计算公式很简单预期的总请求数除以目标时长得出每秒请求数再反过来确定worker数量。from concurrent.futures import ThreadPoolExecutor, as_completed def crawl_batch(keyword_list, total_pages5): sessions [init_session() for _ in range(3)] tasks [] for idx, session in enumerate(sessions): for keyword in keyword_list: for page in range(1, total_pages 1): tasks.append((session, keyword, page)) with ThreadPoolExecutor(max_workers3) as executor: futures {executor.submit(fetch_one, task): task for task in tasks} results [] for future in as_completed(futures): try: keyword, page, count future.result() results.append((keyword, page, count)) except RuntimeError as exc: print(exc) return results5.2 每个线程使用独立Session避免请求头竞争上一章提到多线程共用一个Session会有竞争风险。这里给出一个稳妥的写法初始化时创建与worker数量相同的Session列表让每个线程绑定自己的Session。修改前文的普通函数为接收元组参数def fetch_one(task): session, keyword, page task time.sleep(0.5) html safe_search(session, keyword, page) records parse_result(html) return keyword, page, len(records)Session是requests库中比较重的对象通常建议每个进程内少创建。这种场景特殊因为每个Session承担的是一个独立的会话身份隔离比复用更重要。需要注意Python GIL下requests的IO操作会释放锁多线程爬虫不会因CPU瓶颈而失去并发收益因此这里的并发是有意义的。5.3 完整性校验与断点续抓并发跑完后还需要一个校验步骤把实际入库的数据量与检索系统返回的总数对比。部分知网版本会把总数以totalCount:12345的形式放在返回数据中用正则即可提取。import re def extract_total_count(html): match re.search(rtotalCount\s*:\s*(\d), html) return int(match.group(1)) if match else 0 def verify_integrity(expected, actual, threshold5): if expected and abs(expected - actual) threshold: print(f警告期望 {expected} 条实际 {actual} 条) return False return True阈值取5是为了容纳抓取期间库内新增或索引更新的数据若要求严格一致把阈值设为0并将抓取任务安排到凌晨等数据静默时段执行。断点续抓的做法是在成功保存每一页后把页码写入本地进度文件下次运行时从该页码继续避免一次网络波动推倒重来。本文还有配套的精品资源点击获取 基于Python的知网爬虫设计：请求还原、反爬与并发优化全解析
简介一套基于Python语言的知网爬虫设计源码面向需要自动抓取中国知网学术数据的研究人员、数据分析师与爬虫爱好者能够有效解决人工检索效率低、批量采集难的问题。该资源包共包含24个文件压缩后大小约为97KB文件类型较为丰富包括5个Python源文件、7个XML配置文件、4个文本文件、2个Git忽略文件、2个Idea项目文件以及Excel、Git属性、许可证和配置信息等分别承担爬虫核心逻辑、抓取规则定义、运行日志记录、版本控制、项目结构配置和最终数据存储等功能分工细致便于查看和修改。项目内集成了请求发送、页面内容解析、验证码识别、参数配置等模块用户通过调整配置文件即可灵活设置请求头、代理、抓取间隔等关键参数以适应知网平台的访问策略代码采用模块化组织对理解爬虫设计思路、学习反爬应对方法都很有帮助。目前该资源已有331人学习下载适合初中级开发者作为参考案例也适合需要快速搭建知网数据抓取工具的实际应用场景。1. 基于Python的知网爬虫设计难点不在库的使用而在检索链路还原“基于Python语言的知网爬虫设计源码”这个标题懂行的人会更在意“设计”这两个字。原因很直接知网不是那种提供公开稳定API的站点检索请求的路径、参数名、Cookie校验逻辑都跟着前端版本迭代变动旧教程里的代码复制下来大概率只能跑出验证页。真正决定一个知网爬虫能不能用的是你能否通过一次真实浏览器操作把服务端期望的请求格式精确还原成Python参数。这个工作的占比可能要到七成剩下三成才是写requests、解析页面和存CSV。本文按这条路线展开先讲如何用开发者工具抓取知网检索请求再给出一个可本地运行的最小Python源码骨架接着处理随机延迟、User-Agent轮换与验证码自愈最后落到并发参数和数据完整性校验。该方案只采集公开页面的题录元数据不涉及全文下载和任何授权操作适合做文献计量分析的工程师也适合想系统了解学术数据库爬虫设计思路的开发新人。2. 拆解知网检索请求从DevTools到参数表的链路还原方法采集任何会话类网站之前最重要的一步都应该是观察浏览器到底发出了什么而不是先写代码。知网的前端框架经历过多次重构从传统表单提交变成了JS动态加载检索结果有时由服务端直接渲染成HTML片段有时又以内嵌JSON的方式传给前端组装接口路径和参数名没有长期有效的外部文档。如果你照搬了一篇过时的教学文章大概率会得到一个状态码200、内容却是空列表的响应。用开发者工具检查一遍真实流量之后你手里的信息就不再是猜测而是一份可以直接翻译成Python代码的协议基线。2.1 用开发者工具观察知网检索请求的顺序还原知网检索请求的标准流程可以分成六步这个方法适用于当前主流桌面浏览器。打开Chrome或Edge的无痕窗口先访问知网首页等页面完全加载。按F12打开开发者工具切换到Network面板勾选Preserve log选项。这个选项保证了页面发生跳转或局部刷新时请求记录不会被自动清空。在Network面板的过滤栏输入fetch或xhr把图片、CSS、字体这些静态资源请求过滤掉。在检索框输入一个测试关键词例如“联邦学习”点击检索按钮。回到Network面板找到类型为POST的那条记录。如果有多条记录逐一查看响应内容返回文献列表的就是目标接口。点击该记录依次查看General、Request Headers、Form Data或Payload三个区域把URL、请求头键值、表单字段全部复制到一个临时文件里。整套抓包过程不需要第三方工具浏览器本身就是最可靠的协议分析器。实际抓包时Network面板里通常能看到一条POST请求名称和路径会因知网版本不同而存在差异。我的习惯是把这条请求保存成Har格式后续对照参数时不用反复切窗口。2.2 知网检索请求关键参数的对照表把抓到的Form Data整理出来就能得到一张类似下面的参数映射表。不同改版阶段参数名可能略有差异但语义基本一致。参数名传输位置示例值作用说明kwForm Data联邦学习检索关键词决定结果集的最核心字段korderForm DataSU排序方式SU按相关度date按发表时间pageForm Data1页码不同版本可能从0或1开始PageSizeForm Data20每页条数部分版本对上限有隐式限制dbcodeForm DataCJFQ检索范围CJFQ期刊CDMD学位论文有些版本还会要求携带动态生成的token字段这个token在每次刷新首页时都会变化不能硬编码。做法是从首页HTML的全局变量里解析出来或者直接利用某个隐藏的脚本初始化请求。因此代码设计里必须先发起一次首页GET请求拿到包含token字段的页面然后基于这个页面提取出动态值再构建后续的POST参数。对于第2.1节抓包观察到的其他隐藏字段能做同样的动态提取就不要写死。2.3 请求头、Cookie与会话一致性是统一的整体抓取知网检索请求时很多初写爬虫的开发者会忽略一个关键事实POST请求能不能成功取决于它是否使用了与首页相同的会话凭证。知网的服务端在校验请求头时首先检查Referer是否来自知网自己的域名其次检查Cookie里有没有合理生成的会话标记两者都通过后才会进入参数校验。如果直接用requests.get打开一个无Session的GET再提交POST或请求头里缺失Referer服务端通常不会返回数据而会返回一个验证页或空白页面。把这个观察结果翻译到Python代码里时就使用requests.Session()维持整个会话。Session对象会自动保存服务端下发的Cookie在后续POST时原样携带保证请求头与Cookie的版本一致。请求头模板里至少要有User-Agent、Accept-Language、Referer三项内容参照浏览器抓包所得。2.4 匿名会话的边界题录可访问全文受限设计知网爬虫时还有一个前提需要明确匿名会话可以访问检索结果、题录摘要、被引频次这类公开元数据这些内容本就会展示给搜索引擎和普通访客属于适合采集的公开信息。但下载PDF全文或导出批量参考文献依赖机构订阅授权需要登录账号或经过校园网认证。把爬虫目标限定在题录层跑通链路、完成分析需求即可。遇到返回登录页或权限提示时代码应该保存现场并停止而不是通过猜测参数去碰鉴权逻辑。3. 能跑起来的知网爬虫Python源码Session、解析与CSV落盘前面把请求格式分析清楚之后这一章给出一个能在本地运行的最小Python源码骨架。代码采用模块化写法会话初始化、检索、解析、保存各自独立成函数后续做并发或者换采集目标时只需修改对应函数而不用重写整条链路。3.1 用requests.Session完成会话初始化与首页预热import time import requests BASE_URL https://kns.cnki.net def init_session(): session requests.Session() session.headers.update({ User-Agent: ( Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 ), Accept: */*, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Referer: BASE_URL /, }) resp session.get(BASE_URL, timeout15) resp.raise_for_status() time.sleep(0.5) return session这段代码做四件事创建Session对象写入浏览器样式的请求头请求一次知网首页以取得会话Cookie通过sleep保留访问间隔。timeout设成15秒是因为知网首页加载的脚本和静态资源较多超时阈值太低容易出现假失败。sleep的0.5秒也是有意为之目的是让后续POST请求的时间点与首页访问拉开距离避免被识别为机器批量写入。3.2 检索函数与页面解析函数的模块化封装from bs4 import BeautifulSoup def search_keyword(session, keyword, dbcodeCJFQ, page1): search_url BASE_URL /kns8s/defaultresult/index form_data { kw: keyword, dbcode: dbcode, korder: SU, page: str(page), PageSize: 20, } resp session.post(search_url, dataform_data, timeout20) resp.raise_for_status() resp.encoding utf-8 return resp.textsearch_url路径取自第2.1节抓包阶段观察到的常见路径版本不同入口可能不同。POST的data参数传字典requests会按表单格式application/x-www-form-urlencoded提交这和浏览器检索时的请求体类型一致。函数把关键词、数据库范围、页码全部抽成参数方便后续循环和并发调度。解析函数负责从返回的HTML中提取文献信息def parse_result(html): soup BeautifulSoup(html, html.parser) records [] rows soup.select(table.result-table-list tr) for tr in rows: tds tr.select(td) if len(tds) 5: continue records.append({ title: tds[0].get_text(stripTrue), author: tds[1].get_text(stripTrue), source: tds[2].get_text(stripTrue), date: tds[3].get_text(stripTrue), cited: tds[4].get_text(stripTrue), }) return records解析器通过CSS选择器定位结果表格每一行对应一条文献。get_text(stripTrue)会去掉单元格内的空白字符和换行减少后续CSV写入时的脏数据。如果抓包时发现服务端返回的是JSON而非HTML解析逻辑改为json.loads提取列表再重组为同样的records结构即可下游代码不用改。3.3 多页抓取与CSV导出的完整闭环import csv def save_to_csv(records, filenamecnki_records.csv): with open(filename, w, newline, encodingutf-8-sig) as f: writer csv.DictWriter(f, fieldnames[title, author, source, date, cited]) writer.writeheader() writer.writerows(records) return len(records) def crawl_keyword(keyword, max_pages5): session init_session() all_records [] for page in range(1, max_pages 1): html search_keyword(session, keyword, pagepage) page_records parse_result(html) all_records.extend(page_records) print(f第 {page} 页获取 {len(page_records)} 条) time.sleep(1) return save_to_csv(all_records, fcnki_{keyword}.csv) if __name__ __main__: print(crawl_keyword(联邦学习, max_pages5))运行python cnki_crawler.py后程序会依次抓取前5页结果并把数据写入cnki_联邦学习.csv。文件名里的关键词直接拼进路径中文文件名在Windows下可行macOS和Linux也没有问题。CSV写入指定encodingutf-8-sig而不是普通utf-8这是为了兼容ExcelWindows上直接双击csv文件时utf-8-sig的BOM头会让中文正常显示否则会出现乱码。这里有一个值得强调的设计点所有记录先暂存到内存的all_records列表全部抓完后再一次性写入文件。逐页打开文件句柄追加写入在单机小规模场景下也能工作但会带来IO抢占和部分写入的碎片问题量级上来后不利于追踪。统一内存汇总、最后落盘的写法后续增加并行处理时也更好迁移。4. 知网反爬处理随机延迟、UA轮换与验证码自愈前一套代码可以完成基础采集但直接连续翻页抓取很快会被知网的反爬机制拦下来。这一章处理的是请求节奏和异常自愈也是知网爬虫设计源码里最需要长期维护的部分。反爬规则会随站点运营策略调整下面给出的参数是在常规环境下验证过的起点不保证长期适用但策略本身是通用的。4.1 用随机延迟代替固定间隔知网对单位时间内的请求数有频率判定。固定sleep 1秒看起来已经很保守了但机器人的时间序列高度规律服务端用滑动窗口统计请求到达间隔时固定间隔反而容易被识别。更贴近真人操作的做法是让每次间隔在一个区间内随机浮动。import random def polite_delay(min_seconds1.0, max_seconds3.0): interval random.uniform(min_seconds, max_seconds) time.sleep(interval)把这段函数插入到crawl_keyword的循环体里替代原先的固定sleep(1)。参考取值上单账号单出口连续跑200页1到3秒随机间隔没有触发验证码把间隔压到0.3到0.5秒后大约在第40页开始跳出验证码。需要注意这个数值只反映某个时间段下的服务端规则部署时应从更安全的区间起步再结合返回内容逐步调整。4.2 User-Agent轮换池的写法与更新时机单一的UA即便设置了现代浏览器版本高频请求下也会积累出设备指纹特征。准备一个UA池每次请求前随机取出一个替换到Session请求头里是低成本且有效的补充手段。USER_AGENTS [ Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36, Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36, Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:123.0) Gecko/20100101 Firefox/123.0, Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, ] def rotate_ua(session): session.headers[User-Agent] random.choice(USER_AGENTS)UA池里不需要放太旧的浏览器版本过老的UA会让部分站点直接返回“浏览器不兼容”页面。调用时机放在每次检索请求前即可。需要注意的一点是多线程场景下不要多个线程共用一个Session并同时修改UA这会导致请求头竞争反而产生异常。多个线程并发的正确做法会在下一章单独说明。4.3 验证码检测、等待自愈与会话重建即使限速和UA都做了仍然存在触发验证码的概率。关键是让爬虫具备识别和自愈能力而不是程序崩溃或继续空跑。下面这段代码把验证码检测逻辑封装成独立函数def detect_captcha(html): lowered html.lower() return any(marker in lowered for marker in (verify, validate, captcha)) def safe_search(session, keyword, page, retries2): html search_keyword(session, keyword, pagepage) for _ in range(retries): if not detect_captcha(html): return html print(检测到验证码暂停180秒等待会话恢复) time.sleep(180) session init_session() html search_keyword(session, keyword, pagepage) raise RuntimeError(连续触发验证码停止当前关键词)等待时长取180秒的理由是知网验证码会话的失效期通常在两到三分钟之间等待后原有Cookie可能恢复可用。恢复无效时调用init_session重新拉取一套全新的Cookie比继续复用旧Session更有效。连续重试两次仍失败说明当前出口已经被标记继续消耗重试次数没有意义直接抛出异常由上层任务处理。5. 知网爬虫并发调优的三个参数设计worker数、会话隔离与完整性校验前面做的都是单线程采集对于几十页的文献调研任务已经够用。当关键词列表变长时并发是提升效率的必要手段但并发设计里的坑也集中在这里调试时从三个参数入手可以避免大多数问题。5.1 并发worker数量最小有效值是3到5不少资料在演示并发爬虫时直接用ThreadPoolExecutor创建几十个线程那是针对大型资讯站点的做法。知网的瓶颈在频率限制而非网络带宽线程数一多单位时间请求密度立刻超过阈值触发验证码后所有线程一起失败。经验做法是先用3个worker跑一个样本集观察响应成功率和完成时间没有验证码再把上限提到5。计算公式很简单预期的总请求数除以目标时长得出每秒请求数再反过来确定worker数量。from concurrent.futures import ThreadPoolExecutor, as_completed def crawl_batch(keyword_list, total_pages5): sessions [init_session() for _ in range(3)] tasks [] for idx, session in enumerate(sessions): for keyword in keyword_list: for page in range(1, total_pages 1): tasks.append((session, keyword, page)) with ThreadPoolExecutor(max_workers3) as executor: futures {executor.submit(fetch_one, task): task for task in tasks} results [] for future in as_completed(futures): try: keyword, page, count future.result() results.append((keyword, page, count)) except RuntimeError as exc: print(exc) return results5.2 每个线程使用独立Session避免请求头竞争上一章提到多线程共用一个Session会有竞争风险。这里给出一个稳妥的写法初始化时创建与worker数量相同的Session列表让每个线程绑定自己的Session。修改前文的普通函数为接收元组参数def fetch_one(task): session, keyword, page task time.sleep(0.5) html safe_search(session, keyword, page) records parse_result(html) return keyword, page, len(records)Session是requests库中比较重的对象通常建议每个进程内少创建。这种场景特殊因为每个Session承担的是一个独立的会话身份隔离比复用更重要。需要注意Python GIL下requests的IO操作会释放锁多线程爬虫不会因CPU瓶颈而失去并发收益因此这里的并发是有意义的。5.3 完整性校验与断点续抓并发跑完后还需要一个校验步骤把实际入库的数据量与检索系统返回的总数对比。部分知网版本会把总数以totalCount:12345的形式放在返回数据中用正则即可提取。import re def extract_total_count(html): match re.search(rtotalCount\s*:\s*(\d), html) return int(match.group(1)) if match else 0 def verify_integrity(expected, actual, threshold5): if expected and abs(expected - actual) threshold: print(f警告期望 {expected} 条实际 {actual} 条) return False return True阈值取5是为了容纳抓取期间库内新增或索引更新的数据若要求严格一致把阈值设为0并将抓取任务安排到凌晨等数据静默时段执行。断点续抓的做法是在成功保存每一页后把页码写入本地进度文件下次运行时从该页码继续避免一次网络波动推倒重来。本文还有配套的精品资源点击获取 RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
