DataClaw CLI完整教程6步工作流把Claude Code与Codex历史导出并发布到Hugging Face【免费下载链接】dataclawAgent harness to publish your agent chat history as Huggingface datasets.项目地址: https://gitcode.com/gh_mirrors/da/dataclawDataClaw 是一款开源的Agent 对话历史导出工具CLI它能把 Claude Code、Codex 等编程 Agent 的本地会话记录解析成结构化数据自动脱敏密钥和隐私信息PII并一条命令发布到 Hugging Face 数据集。无论你是想备份自己的 AI 协作历史还是想贡献一份真实的人机编程协作数据这套 6 步工作流都能让你 10 分钟上手。为什么需要 DataClaw CLI日常用 Claude Code、Codex 写代码时所有对话都散落在本地各目录里格式各异、还夹杂着 API Key 等敏感信息。DataClaw 解决了三个痛点多源支持内置 7 个解析器覆盖claude、codex、gemini、cursor、kimi、opencode、openclaw见 providers.py隐私保护用户名哈希化、密钥/邮箱正则脱敏、熵分析识别可疑字符串实现见 privacy_filter.py 与 secrets.py统一格式导出标准 JSONL每行一个会话可直接load_dataset加载数据 Schema 定义在 README.md 的 Data schema 一节第1步一键安装 DataClaw 并登录 Hugging FaceCLI 版通过 pip 安装无需依赖 Mac 客户端pip install -U dataclaw hf auth login --token YOUR_TOKEN 提示YOUR_TOKEN在 Hugging Face 个人设置的 Access Tokens 中生成。项目也提供 Mac 菜单栏 AppApple Silicon内置 sidecar无需单独安装 Python安装逻辑见 app/src-tauri/src/startup.rs。第2步运行 dataclaw prep 检查环境dataclaw prepprep会扫描本机已安装的 Agent如~/.claude、~/.codex目录、校验 HF 登录状态并以 JSON 输出当前阶段和next_steps。所有命令都输出 JSON 并附带下一步指引这是整个工作流的核心设计编排逻辑在 _cli/commands.py。卡住时随时用dataclaw status查看当前所处阶段共 4 个阶段auth → configure → review → confirmed。第3步配置导出范围与脱敏规则3A/3B/3C这是发布前最重要的一步分三个子步骤3A 选择来源范围——导出哪个 Agent或用all全部导出dataclaw config --source all3B 选择项目范围——先列出所有可导出的项目文件夹再决定排除哪些dataclaw list --source all dataclaw config --exclude personal-stuff,scratch dataclaw config --confirm-projects3C 设置自定义脱敏字符串——把公司名、客户名、内网域名等正则可能漏掉的内容加入黑名单dataclaw config --redact my-domain.com,my-secret-project dataclaw config --redact-usernames my_github_handle,my_discord_name配置持久化在~/.dataclaw/config.json结构定义见 config.py。别忘了设置目标仓库名dataclaw config --repo username/my-personal-codex-data第4步本地导出 dataclaw export --no-push 先预览⚠️ 永远先做只本地导出、不上传的导出dataclaw export --no-push --output dataclaw_export.jsonl导出的每行 JSON 包含完整会话结构用户消息含语音转录和图片、助手回复、思维链可用--no-thinking关闭、工具调用的输入输出、Token 用量、模型名和 git 分支等元数据。解析器按来源实现例如 parsers/claude.py、parsers/codex.py。第5步审查隐私并执行 dataclaw confirm 确认确认命令会运行完整 PII 扫描、用你的全名做精确匹配检查并记录三项人工审查声明attestations后才解锁发布权限dataclaw confirm \ --full-name YOUR FULL NAME \ --attest-full-name Asked for full name and scanned export for it. \ --attest-sensitive Asked about company/client/internal names; none found. \ --attest-manual-scan Manually scanned 20 sessions across beginning/middle/end.如果不想提供全名可改用--skip-full-name-scan并说明跳过原因。建议先用dataclaw jsonl-to-yaml把导出转成易读 YAML 再人工抽查两个 JSONL 还能用dataclaw diff-jsonl --old old.jsonl --new new.jsonl做结构对比工具实现在 jsonl_tools.py 与 _cli/exporting.py。第6步发布 dataclaw export 到 Hugging Face审查通过、你明确同意后执行最后一步——重新导出并上传dataclaw export --publish-attestation User explicitly approved publishing to Hugging Face.仓库会自动打上dataclaw标签并生成包含模型分布、Token 总量、项目数等统计的 README。之后任何人可以直接加载from datasets import load_dataset ds load_dataset(username/my-personal-codex-data, splittrain)进阶把 DataClaw 交给你的 Agent 自动执行README 内置了一段Give this to your agent提示词模板粘贴给 Claude Code 或 Codex 后它会按同样的 6 步清单安装 → 安装 Skill → prep → 选范围 → 本地导出 → 审查确认 → 发布逐步执行且每步都会向你要明确确认。Claude Code 还支持dataclaw update-skill claude安装专属 Skill。常见问题FAQ问题解决方案命令报错说跳过了某步骤运行dataclaw status查看next_steps从卡住的步骤恢复不要跳步想导出全部项目忽略排除dataclaw export --all-projects导出太慢设置环境变量DATACLAW_WORKERS控制并行 worker 数调度实现在 _workers.py自动脱敏不可靠官方声明NOT foolproof发布前务必人工审查可配合 gitleaks 等工具二次扫描 YAML总结DataClaw 用一套严格的 6 步工作流——安装、prep 检查、范围与脱敏配置、本地导出、confirm 审查、发布——把散落在各编程 Agent 里的对话历史变成干净、可共享的 Hugging Face 数据集。隐私确认环节全名扫描 三重声明确保你发布的每一行数据都经过知情同意。完整的命令参考表见 README.md项目架构与隐私过滤的设计思路可参考 docs/reliability-merge-and-privacy-filter-plan.md。现在就可以运行pip install -U dataclaw开始你的第一次导出。【免费下载链接】dataclawAgent harness to publish your agent chat history as Huggingface datasets.项目地址: https://gitcode.com/gh_mirrors/da/dataclaw创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考