后端文档教程【免费下载链接】system-design-101Explain complex systems using visuals and simple terms. Help you prepare for system design interviews.项目地址https://gitcode.com/GitHub_Trending/sy/system-design-101点击查看免费下载搜索引擎每天都在处理数十亿次的查询但其核心原理其实可以浓缩为三个环环相扣的阶段Crawling爬取→ Indexing索引→ Serving Search Results结果服务。本文以 data/guides/how-do-search-engines-work.md 为主线结合 system-design-101 仓库中关于去重爬取、SEO 优化与全文检索引擎的配套资料为你完整拆解从网页被抓取到关键词被命中再到结果被排序展示的完整链路。读完本文你将掌握搜索引擎的三大核心流程及其底层数据结构倒排索引、布隆过滤器、LSM-Tree并能把它们迁移到任何需要内容检索的系统设计中。一、总览搜索引擎的三个核心阶段搜索引擎本质上是一个离线预处理 在线快速查询的系统它提前把互联网上的海量网页抓取下来、整理成可检索的索引用户查询时只在索引上做高速匹配而不是实时扫描整个互联网。阶段核心任务输入输出Crawling爬取发现并下载网页种子 URL 列表Seeds原始网页快照Indexing索引解析、分类、组织网页网页原始内容可检索的索引库Serving结果服务理解查询、召回、排序用户查询词排序后的结果列表三个阶段的职责边界非常清晰爬取负责收集数据索引负责组织数据结果服务负责在数据中找答案。下面逐一展开。二、Crawling搜索引擎如何发现网页搜索引擎使用名为crawler爬虫的自动化程序来发现并下载互联网上的网页。它的工作方式非常朴素从一个已知网页列表称为seeds种子网页出发解析这些页面提取其中的超链接顺着链接继续抓取新页面再提取新链接……如此往复爬虫不断沿着链接这张网向外扩展最终覆盖一片庞大的互联内容网络。这套从种子出发、沿链接扩散的机制意味着任何没有被任何页面链接到的网页几乎不可能被搜索引擎发现——这也是 SEO 中外部链接如此重要的根本原因详见下文第四节。2.1 爬虫的工程挑战URL 去重互联网上的 URL 数量极其庞大爬虫在抓取过程中会反复遇到相同的链接尤其是指向同一资源的重复 URL。如何在亿级规模下判断这个 URL 是否已经抓取过是爬虫系统的经典工程问题。仓库中的配套文档 data/guides/how-to-avoid-crawling-duplicate-urls-at-google-scale.md 给出了三种方案及其取舍方案一Set 数据结构——判断URL 是否已存在非常快但空间效率差。在 Google 级别的规模下把海量 URL 全部存进内存中的 Set 是不现实的。方案二存入数据库再查询——可行但每次 URL 判重都产生一次数据库查询数据库负载会非常高成为系统瓶颈。方案三推荐布隆过滤器Bloom Filter——由 Burton Howard Bloom 于 1970 年提出的概率型数据结构专门用于测试元素是否属于某个集合。布隆过滤器的核心特性是false意味着元素一定不在集合中true意味着元素很可能在集合中。它允许误报false positive把不存在的元素判成存在但绝不允许漏报false negative。这一特性恰好契合爬虫去重场景偶尔把未抓取的 URL 误判为已抓取顶多漏掉一个页面但绝不会重复抓取。布隆过滤器的工作原理两步走Step 1写入把一个元素如 URL 字符串同时喂给 3 个不同的哈希函数文档示例中记作 A、B、C将得到的位置在位向量Bit Vector上置 1。注意不同的 URL如www.myweb1.com和www.myweb2.com可能命中同一位文档示例中索引 5 处被两个 URL 同时置 1——这正是误报产生的根源某一位可能被其他元素置过 1。Step 2查询对候选 URL 应用相同的 3 个哈希函数检查对应位是否全部为 1。如果三个位都是 1说明该 URL可能存在只要有一位是 0就说明该 URL一定不存在。哈希函数的选择至关重要必须满足均匀分布且计算快速两个条件。文档给出了真实世界的选型参考RedisBloom 和 Apache Spark 使用murmur哈希InfluxDB 使用xxhash。2.2 爬虫的配合机制让搜索引擎读得懂你的网站爬虫只能读取爬虫可识别的页面内容因此网站的页面结构会直接影响抓取效率。仓库配套文档 data/guides/making-sense-of-search-engine-optimization.md 总结了面向爬虫的页面结构优化要点移除爬虫无法读取的内容包括 Flash、frame 框架和动态 URL降低网站层级深度让网页与首页之间的距离尽可能短距离越近越容易被爬到、权重传递也更充分URL 应短小且具有描述性尽量包含关键词使用 HTTPS安全的加密传输对可信度判定有利不要在 URL 中使用下划线——下划线会破坏分词tokenization效果导致搜索引擎把my_page误认为一个词而不是my和page两个词。三、Indexing把网页变成可检索的索引爬虫收集到的只是原始网页直接扫描这些原始网页来响应查询是不可行的。因此搜索引擎需要对抓取内容进行分析和组织构建出一个庞大的索引数据库index。这一阶段的核心是从每个页面中提取关键要素用于理解页面在讲什么、对不同查询有多大价值。3.1 索引阶段提取的分类信号根据 data/guides/how-do-search-engines-work.md索引阶段提取的关键要素包括关键词keywords页面中承载语义的核心词汇内容类型content type页面是文章、商品页、视频页还是讨论帖等新鲜度freshness页面的更新时间用于判断时效性内容的价值语言language页面使用哪种语言决定它匹配哪些语种的查询其他分类信号other classification signals页面结构、重要性辅助信号等。3.2 预处理三步骤清洗 → 建索引 → 算链接关系仓库的 SEO 配套文档将索引前的预处理preprocessor细化为三步可以看作对上述分类信号提取的工程化落地清洗移除 HTML 标签和停用词Stop Words如a、an、the这类高频但无语义贡献的词同时剔除与页面内容无关的噪声例如免责声明disclaimer等模板化文本建索引将清洗后的关键词组织成结构化索引即正向索引forward index和倒排索引inverted index。倒排索引是搜索引擎的基石它以关键词 → 包含该词的文档列表的方式组织数据使查询可以从词直接定位到文档而不是扫描全部文档计算链接关系统计页面上的超链接数量该页对外链出多少以及有多少链接指向该页面被链入多少。这一步的产出是后续排序阶段的重要信号来源。3.3 真实世界的索引引擎Elasticsearch 的 LSM-Tree索引是搜索系统的性能核心仓库配套文档 data/guides/how-do-we-learn-elasticsearch.md 指出Elasticsearch 的核心在于数据结构和索引构建方式理解它如何用 LSM-TreeLog-Structured Merge Tree日志结构合并树构建 term dictionary词项字典至关重要。Elasticsearch 基于 Lucene 库构建提供分布式、多租户的全文检索引擎具备 HTTP 接口与 schema-free无固定模式的 JSON 文档能力。其典型使用场景日志分析、电商商品搜索、自动补全/拼写检查、商业智能分析、Wikipedia 与 StackOverflow 的全文搜索本质上都是大规模倒排索引检索的应用形态。对系统设计者而言理解 LSM-Tree 有助于把握索引写入与合并的代价模型。四、Serving Search Results从查询到排序结果当用户输入查询词时搜索引擎进入第三阶段在索引中找出最相关、最有帮助的页面。文档将这一过程拆解为三个子环节4.1 Query Analysis查询分析搜索引擎先分析用户的查询词理解其含义与意图。具体包括识别关键词从查询串中抽出承载语义的词识别同义词将查询词映射到索引中的等价表达例如查询 automobile 也能命中包含 car 的文档理解上下文结合地域、语言、历史行为等信号推断查询的真实意图是导航型、信息型还是交易型。4.2 Retrieval召回基于查询分析的结果搜索引擎在庞大的索引中检索相关页面。这一步将查询词与索引中的页面内容进行匹配——得益于倒排索引词 → 文档的匹配是常数级别的定位操作而非全库扫描这是搜索引擎能亚秒级响应的关键。4.3 Ranking排序召回的页面需要按照相关性relevance及其他因素排序。从仓库的 SEO 配套文档可以提炼出两类核心排序信号链接关系预处理阶段计算出的有多少超链接指向该页面是关键信号——如果我们的网站被一个高排名网站引用就会提升我们网站的排名。这正是 PageRank 类链接分析算法的思想把被谁链接当作权威性的投票。用户体验Google 于 2020 年 5 月发布Core Web Vitals核心 Web 指标正式将用户体验列为页面排序算法的重要因子。这意味着页面加载快不快、交互是否流畅、布局是否稳定已经直接影响排名。4.4 排序对网站建设者的启示SEO理解了排序机制就能反推出网站优化SEO策略配套文档将其归纳为四个维度优化网站结构方便爬虫抓取见 2.2 节选择优化的关键词关键词必须与网站售卖的内容相关且具有商业价值——一个理想的词是搜索量高但搜索结果少的词竞争小、命中价值大优化网页本身爬虫抓取的是 HTML 内容因此 title 和 description 应精炼并包含关键词页面正文也应自然融入相关关键词建设外部链接在网站上发布对他人真正有用的高质量内容是吸引外部链接的最自然方式而被高排名网站引用会反向提升本站排名。五、完整链路串讲从敲下地址到页面呈现在屏幕前把搜索引擎如何工作放到更大的链路中看一次完整搜索还包含查询之前的 DNS 解析与网络传输环节。仓库文档 data/guides/what-happens-when-you-type-google.md 给出了一个 8 步全景用户在浏览器地址栏输入网站地址浏览器先查自己的缓存缓存未命中则进入 DNS 查询DNS 查询依次经过根服务器、顶级域TLD服务器、权威服务器最终拿到 IP 地址浏览器发起 TCP 连接HTTP/1.1 场景下为 SYN、SYN-ACK、ACK 三次握手握手成功后浏览器发送 HTTP 请求服务器返回 HTML、CSS、JS 文件浏览器解析 HTML构建 DOM 树和 CSSOM 树浏览器执行 JavaScript并依次经过 tokenizer分词、parser解析、render tree渲染树、layout布局、painting绘制完成渲染网页呈现在屏幕上。这条链路与搜索引擎的关系是第 15 步是访问搜索引擎网站本身的网络行为而当用户在搜索引擎上完成查询时真正的内容检索则走的是本文第一至四节描述的爬取 → 索引 → 排序服务管线。六、给系统设计者与面试准备者的要点提炼本仓库system-design-101的定位是用可视化与通俗语言解释复杂系统帮助准备系统设计面试见 README.md。围绕搜索引擎这个主题最值得带走的三个系统设计知识点是读写分离的架构思想搜索引擎把昂贵的抓取、清洗、建索引放在离线链路把廉价的查询匹配放在在线链路用空间换时间换取亚秒级响应。设计任何检索型系统站内搜索、日志检索、商品搜索时都应遵循同样的分层。数据结构的选型逻辑去重场景用布隆过滤器空间极小、允许误报、检索场景用倒排索引词到文档的常量定位、索引写入用 LSM-Tree顺序写、批量合并——每种结构都对应一类明确的权衡。排序的本质是信号融合相关性、链接权威性、内容新鲜度、用户体验Core Web Vitals等多类信号共同决定最终排序这与推荐系统、广告系统的多路召回 排序架构是相通的。延伸阅读本仓库配套文档爬虫去重Google 规模下的布隆过滤器实践——详解布隆过滤器的位向量原理与哈希函数选型搜索引擎优化SEO指南——从爬取、预处理到排序的站长视角优化清单如何学习 Elasticsearch——倒排索引与 LSM-Tree 在真实全文检索引擎中的落地在浏览器中输入 google.com 会发生什么——搜索请求背后的完整网络链路。赞分享后端文档教程【免费下载链接】system-design-101Explain complex systems using visuals and simple terms. Help you prepare for system design interviews.项目地址https://gitcode.com/GitHub_Trending/sy/system-design-101点击查看免费下载相关推荐System Design 101 之搜索引擎优化SEO全解从爬虫、索引到排名提升System Design 101 之搜索引擎优化SEO全解从爬虫、索引到排名提升 搜索引擎优化Search Engine OptimizationS后端文档教程TeleChat2.5-35B训练策略揭秘多阶段课程学习与参数融合技术TeleChat2.5 35B训练策略揭秘多阶段课程学习与参数融合技术 TeleChat2.5 35B是中国电信人工智能研究院基于国产算力研发的先进大语言模型Meteor 应用搜索引擎爬虫索引指南spiderable 包的抓取原理、配置与源码解析Meteor 应用搜索引擎爬虫索引指南spiderable 包的抓取原理、配置与源码解析 spiderable 是 Meteor 官方生态中用于解决客户端渲后端前端开发工具移动开发创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考