别再手动复制数据到凌晨MediaCrawler-new 一个命令跑通五大平台数据采集【免费下载链接】MediaCrawler-new项目地址: https://gitcode.com/GitHub_Trending/me/MediaCrawler-new凌晨一点小周还在对着三个浏览器窗口来回切换。她是一家化妆品品牌的市场运营为了写月度竞品分析报告需要从小红书、抖音、微博上整理近一周的美妆产品评价。她的做法是一篇篇点开帖子复制标题、内容、点赞数再粘贴进 Excel。忙了三个晚上数据还没收集完格式却已经乱成一团——有的帖子里带着表情符号有的评论区比正文还有价值她根本顾不过来。更崩溃的是第二天她的账号因为频繁浏览被平台提示了异常操作。这不是小周一个人的故事。凡是做过社交媒体数据收集的人大概都有过类似的深夜大量时间耗在复制粘贴上而不是花在真正有价值的分析上。痛点为什么手工采集注定会崩你可能会说手工不行那找代采集服务或者写个简单的脚本不就行了问题恰恰出在这里。社交平台早就不是几年前那个裸奔的网站了请求太频繁会被识别需要登录才能看到完整内容页面数据做了加密不同平台的字段结构还完全不一样。一个平台的反爬机制就足够让业余脚本趴窝更别提同时应付五个平台。所以真正稀缺的不是能不能采集而是一套能处理登录、加密、反爬、多平台差异的完整方案。而这正是 MediaCrawler-new 存在的理由。破局一个开源爬虫框架五个平台通吃MediaCrawler-new 是一个基于 Python 的开源爬虫框架专门解决社交媒体数据采集这个老大难。它用 playwright 模拟真实浏览器行为保留登录后的浏览器环境再通过执行 JS 表达式获取加密参数——也就是说它绕开了逆向平台核心加密代码这件最苦的差事把难度直接降了下来。最让我心动的是它一次配置、全面采集的设计小红书、抖音、快手、B站、微博五大平台一套接口通吃。不需要为每个平台单独写爬虫改一行配置就能切换目标。下面我就用一次真实的采集过程带你完整跑通它。跑通第一个采集任务从环境到数据的完整流程先说结论整个过程大概十分钟最后你会拿到一份结构化的数据文件。我们以小红书为例因为它是最常见的场景——搜索关键词抓取相关笔记。第一步装好运行环境先把项目克隆到本地并创建一个干净的 Python 虚拟环境# 克隆项目 git clone https://gitcode.com/GitHub_Trending/me/MediaCrawler-new cd MediaCrawler-new # 创建并激活虚拟环境 python -m venv venv source venv/bin/activate # Windows 下用 venv\Scripts\activate # 安装依赖 pip install -r requirements.txt # 安装 playwright 的浏览器驱动 playwright install这里有两个容易忽略的细节第一playwright 需要 Node.js 环境v16.8.0 及以上如果你的电脑没装 Node后面跑抖音相关任务时会报错第二playwright install会下载浏览器内核耗时取决于网络耐心等它跑完即可。第二步只改一个配置文件打开config/base_config.py这是整个工具的总开关。我建议你只动四个参数PLATFORM xhs # 目标平台xhs | dy | ks | bili | wb KEYWORDS python,数据分析 # 想搜的关键词多个用英文逗号分隔 LOGIN_TYPE qrcode # 登录方式qrcode | phone | cookie SAVE_DATA_OPTION json # 数据保存方式csv | db | json第一次使用把登录方式设为qrcode、保存方式设为json是最省心的组合不用填任何账号密码扫个码就能登录数据以 JSON 文件落到data/目录方便后续处理。至于关键词换成你真正想研究的内容即可比如美妆领域就写粉底液,遮瑕膏,口红。第三步运行并扫码登录配置保存好之后在项目根目录执行python main.py --platform xhs --lt qrcode --type search程序会启动一个真实浏览器窗口屏幕上出现一个登录二维码。掏出手机上的小红书 APP 扫一扫、确认登录浏览器会自动跳转之后爬虫就开始按关键词搜索并抓取笔记了。整个过程不需要你写一行业务代码——这是这个工具最爽的地方你只是在用浏览器逛平台只不过逛的动作被自动化了。抓取结束后到data/目录下看看你会拿到类似search_contents.json的文件里面是结构化好的笔记数据标题、内容、发布时间、点赞评论转发数一应俱全。如果你的场景需要评论数据把配置里的ENABLE_GET_COMMENTS改成True下次运行就会连评论一起抓下来。把玩法玩出花同一个小工具五种用法第一次跑通之后你可能会问那我只想抓某一个帖子怎么办这就触到了这个工具的第二个优点——同一个入口多种采集模式按需切换即可。指定帖子深挖你知道某条内容很火想拿到它的完整数据和全部评论。把帖子 ID 填进XHS_SPECIFIED_ID_LIST运行python main.py --platform xhs --type detail精准狙击。追踪创作者主页想分析某个 KOL 的发布规律填好XHS_CREATOR_ID_LIST用--type creator一次性把他主页的作品全部拉下来看他的更新频率、内容风格、互动趋势。多平台轮换把PLATFORM改成dy抖音、ks快手、biliB站或wb微博命令其余部分几乎不变。五个平台的数据结构虽然各异但入口和操作习惯是统一的。批量下载视频B站专属的video_download模式指定一批视频 bvid就能批量把视频资源拉下来适合做离线语料或内容素材库。开启代理 IP 池数据量大时把ENABLE_IP_PROXY设为True。这个功能相当于给你的爬虫配了多个分身轮流上阵——IP 从一个第三方代理池里随机抽取用完换下一个避免单 IP 高频请求被平台盯上。整个流程从拉取 IP、写入 Redis 到创建代理池工具内部已经闭环处理好了避坑指南过来人的四句话作为已经踩过坑的人我把最常见的几个问题提前说给你免得你重复交学费。报错提示缺少 nodejs 环境SyntaxError 缺少 ;去装 Node.js v16.8.0 或更高版本即可。抖音的数据签名依赖本地 JS 执行没有 Node 它转不起来。playwright 一直 Timeout 超时30000ms exceeded检查你的网络。这类超时九成是网络环境连不上目标平台导致的先把网络问题解决了再跑。登录怎么老失败换账号怎么操作删掉项目根目录下的browser_data/文件夹重新运行会回到扫码登录的状态。登录状态默认是缓存的这也是为什么换账号前要先清理它。刚开始能抓到数据跑一阵子突然全失效了别慌这多半是账号触发了平台的风控。此时正确做法是停下来降低采集频率、减少并发量或者开启代理 IP。任何爬虫工具都只是工具过度采集对平台和账号都没好处——这也是所有使用者应该共同遵守的底线。用结果说话一次竞品调研的账本拿小周的美妆竞品调研来说假设她要收集 5 个关键词、覆盖小红书和微博、各抓 50 条帖子及评论。手工方案每篇帖子平均 3 分钟整理加上反复登录、翻页、去重总耗时轻松超过 8 小时且复制粘贴的错误率几乎无法避免用 MediaCrawler-new配置 10 分钟采集大约 20 分钟受网络和并发影响全程自动去重落盘准确率接近 100%。8 小时对比 30 分钟差距是 16 倍。省下来的时间恰好可以用来做真正有价值的事——分析这些数据背后的趋势而不是在数据搬运上耗尽耐心。还能怎么改给爬虫装上自定义引擎如果你不是普通用户而是开发者这个项目的扩展性也值得多说一句。它的代码按media_platform/各平台爬虫、proxy/代理管理、store/数据存储等模块清晰拆分base/base_crawler.py定义了统一的爬虫抽象接口。想接入一个新平台照着现有平台的模式实现一套客户端、核心逻辑和字段定义即可想让数据落到自己的 MySQL 或 PostgreSQL改一下config/db_config.py里的连接串就行。换句话说它开箱即用但也给你留好了改装的口子你能按需把它改造成适合自己业务的数据管道。写在最后回想文章开头的小周如果她当天晚上就配置好这个工具第二天早上打开电脑看到的是已经整理好的结构化数据——她可以把全部精力放在分析上而不是耗在复制粘贴上。这就是工具的意义把体力活交给程序把判断力留给自己。下一步很简单按上面的步骤克隆项目、装好环境、改好配置然后跑一次属于你的采集任务。别忘了数据采集的边界是公开数据、合理频率、合法用途在规则之内使用这个工具才能长久地帮你省时间。祝你今晚不用熬夜。【免费下载链接】MediaCrawler-new项目地址: https://gitcode.com/GitHub_Trending/me/MediaCrawler-new创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考