ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

douyin-downloader:从一条链接到整页存档,去水印、主页抓取与直播录制全都要

douyin-downloader:从一条链接到整页存档,去水印、主页抓取与直播录制全都要 douyin-downloader从一条链接到整页存档去水印、主页抓取与直播录制全都要【免费下载链接】douyin-downloaderA practical Douyin downloader for both single-item and profile batch downloads, with progress display, retries, SQLite deduplication, and browser fallback support. 抖音批量下载工具去水印支持视频、图集、合集、音乐(原声)。项目地址: https://gitcode.com/GitHub_Trending/do/douyin-downloader想把常追的博主主页、还没下播的直播都留在本地硬盘里douyin-downloader 这个命令行工具正好对口一条链接加一份 YAML 配置视频、图文、合集与原声都能去水印落盘热搜榜和关键词搜索结果也能直接导出成 JSONL 给数据分析用。三分钟上手装环境Python 3.9 加一个 requirements环境要求不高Python 3.9Windows、macOS、Linux 都可以。克隆仓库后装依赖git clone https://gitcode.com/GitHub_Trending/do/douyin-downloader cd douyin-downloader python -m pip install -r requirements.txt python -m pip install playwright python -m playwright install chromium最后两条是在装浏览器驱动后面的 Cookie 抓取脚本和 browser_fallback 兜底都依赖它。安装完没有红色报错即可继续。改配置拷一份模板再用脚本抓 Cookie把 config.example.yml 复制成config.yml必填的只有link、path、cookies三项其余保持默认就能跑。登录态是最容易卡住的环节——大量接口只对登录用户开放所以项目自带了 tools/cookie_fetcher.py 抓取脚本cp config.example.yml config.yml python -m tools.cookie_fetcher --config config.yml脚本会弹出浏览器扫码或输入账号登录抖音回到终端按 EnterCookie 就自动写进了配置文件全程不用手动复制字符串。判断是否成功config.yml的cookies区块里出现了 msToken、ttwid、odin_tt 等真实值。之后某天下载突然大面积失败多半是 Cookie 过期重跑同一条命令刷新登录态即可把它当周期性维护而不是故障。跑第一条把示例链接换成你自己的把link换成目标视频或主页地址执行python run.py -c config.yml。成功后Downloaded/下会多出一个以作者命名的目录里面就是无水印 mp4如果同时打开了music、cover、json开关原声、封面和元数据会一并归档进作品文件夹。不想动配置文件时命令行参数可以临时覆盖-u追加链接不替换配置里的链接可重复使用、-t调并发、-p指定下载目录。完整参数列表见 README.zh-CN.md。按场景挑用法单条视频与图文粘链接即可去水印下载手上只有一条链接时最省事链接放进link跑一次就是一条作品落盘图文内容同样支持。短链会被自动解析源地址和画质档位由程序自己挑不需要人工判断。提示仓库 README 注明单个视频/图文、合集、音乐等接口当前受风控影响实际可用程度以 README 为准遇到拦截可依赖主页翻页的浏览器兜底或降低频率重试。这条路线还可以挂两个可选模块评论采集comments.enabled: true后每条作品旁会多出一个*_comments.jsoninclude_replies控制是否收楼中楼max_comments给条数上限。视频转写transcript.enabled: true后调用 OpenAI 兼容接口把视频转写成 txt/json需要配置api_key图文笔记不生成转写。不想碰终端的话同项目还有 Douzy 桌面版粘贴链接即可下载并在任务中心看进度截图仅作功能参考。博主主页存档mode 与 number 怎么配主页链接填进linkmode里勾选要抓的内容number给每种模式设上限0表示不限。post作品、like喜欢、mix合集、music音乐可以混着一次跑完跨模式自动去重link: - https://www.douyin.com/user/MS4wLjABAAAAxxxx mode: - post - mix number: post: 50 # 只抓 50 条作品 mix: 20跑完后内容按作者/post/、作者/mix/分目录归档。收藏类的collect与collectmix只能单独使用不能与上面四种模式混写在同一份配置里。直播录制从开播一直录到下播直播间链接直接填进link程序自动拉流不用开录屏软件link: - https://live.douyin.com/123456789 live: max_duration_seconds: 3600 # 0 录到主播下播录满时长、主播下播或你手动 CtrlC已录部分都会保留成 FLV 文件房间元数据一并落盘。README 将直播录制标为实验功能部分场景拿到的可能是 HLS 播放列表而非可直接播放的视频重要场次建议同时人工备份一份。热搜与搜索数据不下文件只出 JSONL只做数据收集、不下载文件时两条命令就够结果分别落在path下的hot_board/与search/子目录是带时间戳的 JSONLjq、pandas 直接可用python run.py --hot-board 30 -p ./Downloaded python run.py --search 猫咪 --search-max 100 -p ./Downloaded让它长期跑得稳长任务一跑几十分钟最怕中途断掉留下缺口、硬盘堆重复文件。这个项目靠几组默认开关的组合来兜底。去重是两层检查database: true时每次下载成功都会写进 SQLite默认dy_downloader.dbincrease.post等增量开关打开时程序还会核对磁盘上已有的非空主媒体文件。想重下某一条把对应模式的increase设为false即可强制重下README 说无需清库或者把本地文件夹和库中记录一起删掉再运行。网络侧retry_times: 3自带 1s/2s/5s 的退避间隔rate_limit默认 2 请求/秒把请求量压平下载时按 Content-Length 校验体积中途断掉会清掉临时文件重新拉直播录制同样适用——中断后只要文件非空.tmp 会提升为正式文件名已录的字节不丢。并发建议循序渐进thread默认 5网络稳定再提到 8一上来拉满反而更容易触发风控拖慢整个任务。翻页被风控截断时browser_fallback默认开启会自动弹出一个真实浏览器继续加载headless: false时你可以在弹窗里手动完成验证。还有几个常调开关值得记住start_time/end_time按YYYY-MM-DD过滤发布时间且包含结束日当天适合把大主页拆成时间段分段抓video_quality默认highest从转码阶梯里选最高码率改original会为每条作品多一次探测请求去找原片探测失败自动回退notifications开启后可把下载成败推送到 Bark / Telegram / Webhook挂机跑长任务时手机就能收到结果。出问题时先查这里现象原因处理主页只抓到 20 条左右就停翻页触发风控确认browser_fallback.enabled: true且headless: false在弹窗里手动过验证或用start_time/end_time分段抓突然大面积失败Cookie 过期重跑python -m tools.cookie_fetcher --config config.yml刷新登录态硬盘堆出重复文件数据库或增量开关没开database: true并把各increase.*设为true走增量想重下某一条作品被去重检查跳过将对应模式的increase设为false或删本地文件夹加库中记录后重跑进度输出很吵日志静默未开progress.quiet_logs: true排查问题时临时加-v或--show-warnings最后三条实操建议第一次使用先用单条视频链接验证 Cookie 和网络确认正常再上主页批量任务测试阶段把number.post设成 15确认命名与目录布局符合预期后再放开到 0不同任务分配置如config_test.yml、config_daily.yml别共用一份Cookie 刷新是常态维护项预留好时间。本项目仅供技术学习与个人数据管理使用。请在合法合规的前提下使用遵守版权、隐私与平台规则并自行承担使用责任平台变化可能影响功能可用性。【免费下载链接】douyin-downloaderA practical Douyin downloader for both single-item and profile batch downloads, with progress display, retries, SQLite deduplication, and browser fallback support. 抖音批量下载工具去水印支持视频、图集、合集、音乐(原声)。项目地址: https://gitcode.com/GitHub_Trending/do/douyin-downloader创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进