ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

OSINT尽调实战:CRAWL方法论与信息源分层检索指南

OSINT尽调实战:CRAWL方法论与信息源分层检索指南

简介:《OSINT权威指南:尽职调查实务》是面向开源情报初学者与需更新知识的资深从业者的专业读物,由Cynthia Hetherington撰写,第三版于2024年推出。全书围绕商业智能中的尽职调查展开,既讲基础理论与方法论,也覆盖企业结构、网络数据库与信息资源检索、社交媒体及行业特定渠道的情报收集,并深入介绍SWOT分析、供应链与价值链分析等调查结果分析方法,帮助读者建立从信息采集到研判落地的完整工作框架。资源包内含1个PDF文件,大小约6.29MB,便于在电脑或移动设备上随时查阅与检索。目前已有185人学习下载,适合从事商业调查、风控合规、竞争情报与安全研究的人员作为案头参考,也可供刚接触OSINT的读者系统入门,快速掌握可复用的调查思路与工具方法。

1. 从一份尽调报告翻车说起:这本 OSINT 手册到底解决什么问题

见过太多人做商业尽调,第一步就错了。拿到一个公司名,直接搜索引擎里敲进去,翻三页,复制几段新闻,拼成一份报告交差。结果客户拿去谈判,对方一句“这家公司的实际控制人去年已经变更了”就把整份报告废掉。问题不在工具,在于没有一套从信息采集到分析验证的完整框架。这本《OSINT权威指南:尽职调查实务》第三版,核心价值就是给了一套可复用的作业流程——从客户接洽、信息源分层、数据库选择,到 SWOT 和供应链分析,再到报告撰写和计费。它适合两类人:刚入行的 OSINT 分析师,以及做了几年但一直靠零散工具打游击的资深调查员。全书按四部分组织,覆盖商业结构、法庭记录、监管合规、资产留置、社交媒体调查等模块,附录里还有工作说明书模板和调查报告样本,属于能直接抄作业的参考手册。

2. CRAWL 方法论与分阶段尽调:把调查流程拆成可执行步骤

2.1 CRAWL 五步法到底怎么落地

书里第一章就抛出一个核心方法论叫 CRAWL,这是整个尽调作业的骨架。它不是某个工具的使用说明,而是一套信息采集的思维顺序。我把它拆成可操作的五个阶段:

C — Context(背景锚定):在搜任何具体信息之前,先搞清楚调查对象的业务语境。比如你要查一家做跨境物流的公司,得先知道这个行业的监管框架是什么、常见风险点在哪。这一步不产出具体数据,但决定了后面搜什么、去哪搜。

R — Research(信息源分层检索):不是所有信息源同等可靠。书里把信息源分成三层——一手源(政府登记、法庭记录、监管备案)、二手源(行业报告、新闻报道)、三手源(社交媒体、论坛讨论)。检索顺序必须从一手源开始,因为一手源的可验证性最高。

A — Analyze(交叉验证):单一来源的信息不能直接写进报告。比如某公司官网声称年营收五千万,你得去税务登记、行业数据库、供应链上下游分别验证。书里反复强调一个原则:两个独立来源指向同一结论,才能标记为“已确认”。

W — Write(结构化输出):报告不是信息堆砌。书里附录 C 和附录 D 给了个人和公司调查报告的样本结构,核心逻辑是“发现→证据→分析→风险评级”四段式。

L — Legal & Ethical Check(合规审查):这一步最容易被忽略。书里明确列出了哪些信息采集手段可能触碰法律边界,比如在某些司法管辖区,未经授权访问非公开数据库是违法的。合规审查必须在报告交付前完成。

实际操作中,我一般会把 CRAWL 做成一个检查清单,每完成一个阶段打个勾,避免跳步。跳步的代价在后面会讲到。

2.2 分阶段尽调:Phase One 和 Phase Two 的边界在哪

书里第三章讲客户接洽时,提出了一个分阶段尽调框架。这个框架解决的是一个很实际的问题:客户预算有限,你不可能一上来就做全量调查。Phase One 是基础筛查,Phase Two 是深度调查。

Phase One 的核心动作:

  • 公司注册信息核查(注册地、注册资本、成立时间、股东结构)
  • 法庭记录检索(联邦、州、地方三级)
  • 监管合规状态查询(许可证、处罚记录)
  • 负面新闻扫描(关键词组合检索)
  • 社交媒体存在性检查

Phase Two 在 Phase One 基础上追加:

  • 供应链上下游穿透(供应商、客户、合作伙伴)
  • 资产与留置权调查
  • 实际控制人穿透(多层股权结构)
  • 行业特定数据库检索
  • 关联方交易分析

书里给了一个判断标准:如果 Phase One 发现的风险信号超过三个,或者涉及金额超过客户设定的阈值,才建议启动 Phase Two。这个阈值设定很关键,我见过有人不做 Phase One 直接上 Phase Two,结果花了三倍预算查出来一堆无关信息。

提示:Phase One 的报告模板在附录 A 里有,直接拿来改公司名就能用。但注意模板里的风险评级标准需要根据客户所在行业调整,不能一套标准打天下。

2.3 客户接洽与期望管理:为什么这一步不能省

书里第四章专门讲客户期望管理,这个在技术类 OSINT 书里很少见,但恰恰是实战中最容易翻车的环节。核心问题是:客户往往不知道尽调能查到什么、查不到什么。

书里建议在接洽阶段就明确三件事:

第一,调查范围边界。比如客户说“帮我查一下这家公司有没有问题”,这个需求太模糊。你得拆成具体问题:是查财务风险、法律风险、还是声誉风险?每种风险对应的信息源和调查深度完全不同。

第二,交付物格式。是口头汇报、简报、还是完整报告?书里附录 B 给了 engagement letter 样本,里面明确写了交付物类型、时间节点、费用结构。

第三,信息可得性预判。有些信息在特定司法管辖区就是查不到的,比如某些离岸公司的实际控制人信息。接洽阶段就要告诉客户哪些信息可能缺失,避免交付时扯皮。

我自己的习惯是,接洽阶段做一份“信息可得性矩阵”,列出客户关心的每个问题,标注对应的信息源、预期可得性(高/中/低)、以及如果不可得时的替代方案。这份矩阵跟着 engagement letter 一起发给客户确认,后面基本不会出现期望落差。

3. 商业结构穿透与信息源选择:从公司注册到实际控制人

3.1 公司类型与对应的检索路径

书里第八章到第十章集中讲商业结构。不同公司类型对应的检索路径完全不同,搞错了方向就是白费功夫。

公司类型核心检索源关键字段常见坑
有限责任公司州务卿企业登记库注册代理人、成员名单成员名单可能不更新
股份有限公司SEC EDGAR 系统持股 5% 以上股东只覆盖上市公司
合伙企业州级合伙登记普通合伙人信息有限合伙人信息常缺失
离岸公司注册地公司登记处注册代理人实际控制人极难穿透
特许经营特许经营披露文件加盟商名单披露文件更新滞后

书里特别强调了一个概念叫“satellites”——卫星实体。指的是那些围绕主公司注册的一堆关联公司,可能是空壳,也可能是实际业务载体。检索时如果只查主公司,很容易漏掉关键信息。常见做法是:拿到主公司注册信息后,用注册代理人名称、注册地址、董事姓名做反向检索,把所有关联实体拉出来。

3.2 法庭记录检索:联邦、州、地方三级怎么查

书里第十二章专门讲法庭记录,这是尽调中最有价值的信息源之一,因为法庭记录是公开的、有法律效力的、且包含大量细节。

联邦法庭记录通过 PACER 系统检索,按案件类型分:民事、刑事、破产。关键词检索支持当事人名称、案件编号、律师事务所名称。注意 PACER 是按页收费的,检索前先想好关键词组合,避免翻页翻到破产。

州级法庭记录没有统一系统,每个州不一样。书里列了一个州级法庭记录检索资源表,我摘几个典型模式:

  • 有些州提供统一的在线检索门户(如加州的 case access)
  • 有些州按县分别维护系统,需要逐个县查
  • 有些州只提供纸质档案调阅,需要现场或邮寄申请

地方级法庭记录更分散,市法院、治安法院、小额索赔法院各有各的系统。书里的建议是:先查联邦和州级,如果发现关联案件,再顺藤摸瓜查地方级。

检索策略上,书里给了一个组合拳:当事人名称 + 公司名称 + 注册代理人名称,三个关键词分别检索,然后取并集。单一关键词检索容易漏,因为法庭记录里的名称拼写可能有变体。

3.3 监管合规与许可证检索:别只看有没有,要看状态

书里第十三章讲监管合规,核心观点是:许可证检索不能只看“有没有”,要看“当前状态”。

很多行业的经营许可证是有有效期的,过期未续等于无证经营。还有些许可证有附加条件,比如限制经营范围、限制营业地点。这些细节在许可证数据库里都有记录,但很多人只查一个“是否持证”就结束了。

书里列了几类关键监管源:

  • 行业许可证委员会(如金融、医疗、建筑)
  • SEC 的 EDGAR 系统(上市公司披露)
  • FINRA BrokerCheck(证券经纪人背景)
  • 州级保险监管数据库
  • 消费者保护机构投诉数据库

检索时注意一个细节:许可证数据库通常支持按个人姓名和公司名称分别检索。如果只查公司名称,可能漏掉以个人名义持有的许可证。反过来也一样。

注意:监管处罚记录和许可证状态是两个独立字段。有些公司许可证状态是“有效”,但存在未决处罚案件。这两个信息要分别检索、合并分析。

4. 分析框架与社交媒体调查:SWOT、CARA 和 Discord 上的线索

4.1 SWOT 和 CARA:两个分析模型的使用场景

书里第六章讲分析框架,重点介绍了 SWOT 和 CARA 两个模型。很多人以为 SWOT 就是列四个象限,但书里给的用法更具体。

SWOT 在尽调中的用法:

  • Strengths:目标公司的竞争优势,比如专利、独家许可、关键客户合同
  • Weaknesses:内部风险点,比如高管频繁变动、诉讼缠身、现金流紧张
  • Opportunities:外部有利因素,比如行业政策利好、市场需求增长
  • Threats:外部风险因素,比如监管收紧、竞争对手挤压、供应链中断

关键不是填满四个象限,而是找出 S 和 W 之间的转化关系。比如一个公司有独家专利(S),但专利即将到期(W),这个转化关系才是分析的重点。

CARA 是另一个模型,书里用在供应链和价值链分析上:

  • Capacity:产能和交付能力
  • Advantage:竞争优势来源
  • Risk:风险暴露点
  • Adaptability:适应变化的能力

CARA 更适合分析供应链上的合作伙伴。比如你要评估一个供应商是否可靠,用 CARA 四个维度打分,比单纯看财务报表更全面。

4.2 社交媒体调查:从 Facebook 到 Discord 的实操要点

书里第十九章讲社交媒体调查,覆盖了从主流平台到垂直社区。核心挑战是:平台规则一直在变,调查方法也得跟着变。

Facebook 调查要点:

  • 利用 Graph Search 的替代方案(书里给了几个第三方工具)
  • 关注“好友关系”和“群组参与”两个维度
  • 注意隐私设置变化对可见性的影响

Discord 调查要点:

  • 服务器列表和频道结构可以反映组织架构
  • 消息历史检索需要特定权限或工具
  • 注意区分公开服务器和邀请制服务器

书里给了一个通用原则:社交媒体信息必须交叉验证。因为社交媒体上的信息可能是过期的、伪造的、或者断章取义的。单一社交媒体来源的信息,在报告里只能标记为“未经证实”。

我自己的经验是,社交媒体调查最有价值的不是找到“实锤”,而是找到“线索”。比如在某个行业论坛里看到有人讨论某公司的付款延迟问题,这个线索可以引导你去查法庭记录里的合同纠纷案件。

4.3 搜索引擎与 AI 搜索的高级检索技巧

书里第十六章讲搜索引擎和 AI 搜索,这部分内容更新比较快,但底层逻辑不变。

高级检索操作符组合:

# 限定文件类型检索公司注册文件 "公司名称" filetype:pdf 注册 登记 # 限定站点检索法庭记录 site:courtlistener.com "公司名称" # 排除干扰词 "公司名称" -招聘 -广告 -推广 # 限定时间范围 "公司名称" after:2023-01-01 before:2024-01-01

AI 搜索工具的使用要点:

  • 用自然语言提问比关键词组合更有效
  • 要求 AI 给出信息来源链接,便于验证
  • 注意 AI 可能产生“幻觉”,所有输出必须人工核实

书里给了一个检索策略模板:先用宽泛关键词做探索性检索,了解信息分布;再用精确操作符做定向检索,提取具体数据;最后用 AI 搜索做补充检索,覆盖传统搜索引擎可能遗漏的角落。

5. 避坑与排查:五个血泪教训

5.1 坑一:信息源没有分层,一手源和二手源混用

现象:报告里引用的信息来自新闻报道和社交媒体,客户质疑准确性时无法提供原始证据。

原因:检索时没有按信息源分层,看到相关信息就收录,没有区分一手源和二手源。

解决:建立信息源分级表,每条信息标注来源层级。一手源(政府登记、法庭记录)标记为“已确认”,二手源(新闻报道)标记为“待验证”,三手源(社交媒体)标记为“线索”。报告里只把一手源信息作为结论依据。

5.2 坑二:法庭记录检索只查联邦,漏掉州和地方

现象:联邦法庭记录显示无诉讼,但客户后来发现目标公司在州法院有未决案件。

原因:只检索了 PACER 系统,没有查州级和地方级法庭记录。

解决:建立三级法庭记录检索清单,联邦、州、地方逐级检索。州级检索时注意该州是否有统一门户,没有的话按县逐个查。地方级检索重点关注与目标公司注册地、经营地相关的法院。

5.3 坑三:公司注册信息只看当前状态,不看历史变更

现象:报告显示目标公司股东结构清晰,但实际控制人已在半年前变更。

原因:只检索了公司注册库的当前快照,没有查历史变更记录。

解决:公司注册信息检索必须包含历史变更记录。大多数州务卿数据库提供“文件历史”或“变更记录”查询功能。重点关注股东变更、董事变更、注册地址变更、公司名称变更四类记录。

5.4 坑四:社交媒体信息直接写入报告,未做交叉验证

现象:报告引用某人在社交媒体上的言论作为证据,被对方否认后无法提供其他佐证。

原因:社交媒体信息未经交叉验证就写入报告。

解决:社交媒体信息只能作为线索,不能作为结论依据。每条社交媒体信息必须找到至少一个独立来源佐证,才能写入报告。如果找不到佐证,在报告里标注为“未经证实的线索”。

5.5 坑五:忽略合规审查,踩了法律边界

现象:调查过程中使用了某些技术手段获取非公开信息,交付后被客户法务部门指出合规风险。

原因:CRAWL 流程中跳过了 Legal & Ethical Check 环节。

解决:把合规审查作为报告交付前的强制环节。审查内容包括:信息采集手段是否合法、信息使用范围是否超出授权、报告内容是否涉及隐私敏感信息。书里附录 E 给了外国基础调查资源,涉及跨境调查时合规审查更要严格。

6. 从报告模板到计费:把尽调做成可复用的产品

书里第二十章讲客户互动和计费,这部分内容在技术书里很少见,但恰恰是让尽调从“项目”变成“产品”的关键。附录 A 给了工作说明书模板和 Phase One 尽调模板,附录 B 给了 engagement letter 样本,附录 C 和 D 给了个人和公司调查报告样本。这些模板的价值在于:它们把前面所有章节的方法论固化成了可复用的文档结构。

我自己的做法是,把附录里的模板拆成三个层次:第一层是 engagement letter,用于接洽阶段确认范围和费用;第二层是 Phase One 报告模板,用于基础筛查交付;第三层是 Phase Two 深度报告模板,用于深度调查交付。每个层次对应不同的计费标准,客户可以根据预算选择。

计费模式上,书里提到了几种常见方式:按小时计费、按项目固定费用、按阶段计费。我一般推荐按阶段计费,因为尽调的不确定性很高,按小时计费客户容易焦虑,按项目固定费用又容易亏本。按阶段计费把 Phase One 和 Phase Two 分开报价,客户可以先看 Phase One 结果再决定是否启动 Phase Two。

报告撰写上,书里强调一个原则:结论先行。客户没时间从头读到尾,报告第一页就要给出核心发现和风险评级。后面的章节是证据和分析过程,供客户需要时查阅。这个结构和新闻写作的“倒金字塔”类似,但尽调报告的风险评级部分需要更详细的论证。

从那以后我每次交付报告前,都强制走一遍 CRAWL 检查清单,特别是 Legal & Ethical Check 那一步,宁可多花半小时,也不留合规隐患。希望帮到你。

本文还有配套的精品资源,点击获取

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进