物联网消息队列后端【免费下载链接】mosquittoEclipse Mosquitto - An open source MQTT broker项目地址https://gitcode.com/gh_mirrors/mosquit/mosquitto点击查看免费下载Eclipse Mosquitto 于 2019 年 2 月 13 日发布 1.5.7这是一个纯缺陷修复bugfix版本聚焦于 broker 配置解析、持久化文件体积控制、客户端库 API 返回值规范以及构建系统健壮性。本文以该版本发布说明为主体结合仓库源码逐项剖析每一条修复背后的实现原理与影响范围帮助运维人员与开发者理解 1.5.7 的升级价值并掌握per_listener_settings、include_dir、mosquitto_topic_matches_sub()等关键特性的底层行为。版本定位一次低风险的缺陷修复1.5.7 不引入任何新功能变更范围严格限定在以下三个方面Broker修复 5 个具体缺陷涉及构建选项、配置校验、配置加载排序与持久化文件膨胀客户端库libmosquitto修正 1 个 API 返回值问题构建系统降低编译器要求、重写构建测试脚本并清理编译警告。这意味着从 1.5.6 升级到 1.5.7 不会改变既有配置语法与客户端兼容性但会显著改善配置错误的可诊断性与持久化文件的磁盘占用。当前仓库中的发布记录原文见 version-1-5-7-released.md。Broker 修复逐项解读1. 修复WITH_ADNSyes时的构建失败Mosquitto 支持通过WITH_ADNS编译选项启用异步 DNS 解析用于 bridge 的域名解析场景。1.5.6 及更早版本在开启该选项时存在编译错误1.5.7 修正了相关代码路径。当前仓库的 buildtest.py 中仍将WITH_ADNS列为受支持的构建选项之一见buildtest.py第 4 行说明该选项在后续版本中持续被构建验证流程覆盖。2.per_listener_settings必须置于所有安全选项之前这是 1.5.7 中最具运维指导意义的一条修复。per_listener_settings用于让每个监听器listener拥有独立的认证与 ACL 配置。此前如果用户将该选项写在password_file、acl_file等安全选项之后broker 会静默接受错误配置导致安全设置实际落在全局而非预期监听器上存在安全隐患对应 issue #1149。1.5.7 在配置解析阶段加入了严格的顺序校验。从 conf.c 的解析逻辑可以看到}else if(!strcmp(token, per_listener_settings)){ if(config-per_listener_settings){ /* Once this is set, dont let it be unset. It should be the first config option ideally. */ continue; } if(conf__parse_bool(token, per_listener_settings, config-per_listener_settings, saveptr)) return MOSQ_ERR_INVAL; if(cur_security_options config-per_listener_settings){ log__printf(NULL, MOSQ_LOG_ERR, Error: per_listener_settings must be set before any other security settings.); return MOSQ_ERR_INVAL; } }该实现包含三层防御只允许赋值一次一旦per_listener_settings被置为 true后续再出现该指令会被直接跳过continue防止配置被意外复位顺序强校验如果解析到该指令时cur_security_options已经存在说明之前已经出现过password_file、acl_file等安全选项立即打印错误日志并返回MOSQ_ERR_INVALbroker 拒绝启动官方建议注释明确它理想情况下应该是第一个配置选项。正确用法是在配置文件顶部、任何 listener 与安全选项之前声明per_listener_settings true启用后broker 内部通过db.config-per_listener_settings标志决定认证与授权查询作用域。从 security_default.c 的大量分支如第 52、74、103 行等可以看出默认认证、匿名访问、ACL 检查等逻辑都会根据该标志在全局安全选项与当前 listener 的 security_options之间切换plugin_acl_check.c 等插件路径同样遵循这一分派规则。3.include_dir目录加载顺序修复include_dir允许将配置拆分为多个.conf文件放在同一目录中统一加载便于分模块管理认证、ACL、bridge 等配置。1.5 版本曾部分修复过加载顺序问题但 1.5.7 之前目录中的文件并未被稳定排序导致依赖文件加载顺序的场景例如后加载的文件覆盖先加载的选项行为不可预期对应 issue #1154 同时改进了该选项的文档说明。修复后的实现位于 conf_includedir.c。config__get_dir_files()先通过opendir()/readdir()收集目录下所有以.conf结尾的文件Windows 平台对应FindFirstFile/FindNextFile遍历*.conf随后统一调用if(l_files){ qsort(l_files, (size_t)l_file_count, sizeof(char *), scmp_p); }排序比较函数scmp_pconf_includedir.c实现了大小写不敏感优先、大小写敏感兜底的字典序先按toupper()后的大小写不敏感结果比较若相等再按原始字符区分大小写。这保证了文件名如01-auth.conf、02-acl.conf会被确定性、稳定地按序加载。加载侧逻辑在 conf.cinclude_dir只允许出现在主配置文件中level 0子配置文件中出现会直接报错 The include_dir option is only valid in the main configuration file.。按排序结果依次调用config__read_file()递归加载每个文件加载失败时日志会带出具体文件路径与行号Error found at %s:%d.排障体验更友好。4. 持久化文件不再写入无引用的 msg_store 消息这是对磁盘占用影响最直接的一条修复对应 issue #389。broker 的持久化机制会周期性或通过SIGUSR1将内存中的消息存储msg_store写入持久化文件。旧版本中一些已经不再被任何订阅者或 retained 消息引用的陈旧消息仍会被写入文件随着运行时间增长导致持久化文件无谓膨胀拖慢重启后的加载过程。修复后的写入逻辑见 persist_write.c 的persist__message_store_save()base_msg db.msg_store; HASH_ITER(hh, db.msg_store, base_msg, base_msg_tmp){ if(base_msg-ref_count 1 || base_msg-data.topic NULL){ continue; } ... }遍历db.msg_store哈希表时凡是ref_count 1没有任何客户端队列引用且主题为空的消息直接被continue跳过不再写入P_base_msg块。此外该函数还保留了$SYS主题消息的特殊处理仅被 retained 的$SYS消息不持久化但若断线持久会话客户端队列中仍持有则会写入且 retain 标志被清零避免重载后出现误导性的系统主题 retained 消息。对应读取侧persist_read.c通过store_id在db.msg_store中HASH_FIND重建消息引用写入端过滤后重载时内存占用与启动耗时都会随之下降。客户端库修复mosquitto_topic_matches_sub()返回值规范化1.5.7 修正了库函数mosquitto_topic_matches_sub()的一个边界行为当传入无效订阅表达式如topic/#abc即#通配符后还跟有其他字符时此前函数只返回不匹配match 结果为 false而不报错1.5.7 起正确返回MOSQ_ERR_INVAL。发布说明特别强调该修复只影响返回值不影响匹配/不匹配的结果即此前依赖该函数做通配符校验的程序不会出现行为反转只是现在能够通过返回值识别输入非法。该函数的实现位于 util_topic.cBROKER_EXPORT int mosquitto_topic_matches_sub(const char *sub, const char *topic, bool *result) { return topic_matches_sub(sub, topic, NULL, NULL, false, result); }其核心校验逻辑在下层mosquitto_topic_matches_sub2()util_topic.c中它显式检查了多类非法订阅并返回MOSQ_ERR_INVAL#不是订阅的最后一个字符如topic/#abc第 604-606 行#前一个字符不是/如topic#第 601-602 行必须独占一个层级如foo、foo第 579-587 行主题topic中不允许出现、#通配符第 575-576 行等。mosquitto_sub_matches_acl()等 ACL 匹配函数复用同一套校验逻辑。该修复对使用 libmosquitto 做订阅合法性校验的应用具有直接价值现在可以依赖返回值区分合法但不匹配与输入非法两种情形。C 封装层 mosquittopp.cpp 也同步暴露了对应接口。构建系统改进1.5.7 对构建环节做了两项调整不再强制要求 C99 编译器降低了工具链门槛便于在较旧的嵌入式交叉编译环境中构建 broker 与库重写构建测试脚本并清理编译警告当前仓库根目录的 buildtest.py 即为此后持续演进的构建验证脚本它会以不同选项组合包括WITH_ADNS、TLS、websockets 等执行多次编译验证各类配置组合的可构建性从源头拦截类似WITH_ADNSyes的编译回归。升级与验证建议升级前检查配置顺序若现有配置文件在安全选项之后出现per_listener_settings true1.5.7 会拒绝启动并输出明确错误。升级后建议将配置调整为# 置于所有 listener 与安全选项之前 per_listener_settings true listener 1883 password_file /etc/mosquitto/passwd利用 include_dir 排序将配置拆分为带数字前缀的文件如00-base.conf、10-auth.conf、20-acl.conf利用 1.5.7 的确定性排序避免覆盖顺序歧义。检查持久化文件体积升级后首次触发持久化写入时无引用消息会被过滤可对比持久化文件默认mosquitto.db大小是否明显回落。库调用方适配使用mosquitto_topic_matches_sub()的程序应补充对MOSQ_ERR_INVAL返回值的处理将非法订阅与合法不匹配区分开来。回归验证仓库 test/broker 与 test/lib 目录下的大量 Python 测试脚本覆盖了配置解析、持久化与主题匹配行为可在升级后运行测试套件确认环境无回归。赞分享物联网消息队列后端【免费下载链接】mosquittoEclipse Mosquitto - An open source MQTT broker项目地址https://gitcode.com/gh_mirrors/mosquit/mosquitto点击查看免费下载相关推荐Eclipse Mosquitto 1.5.7 发布详解Broker 持久化瘦身、include_dir 排序与库 API 修复Eclipse Mosquitto 1.5.7 发布详解Broker 持久化瘦身、include_dir 排序与库 API 修复 本篇文章基于 Mosquit物联网消息队列后端网络/通信Mosquitto 1.5.7 发布说明详解Broker 配置、持久化与主题匹配的缺陷修复Mosquitto 1.5.7 发布说明详解Broker 配置、持久化与主题匹配的缺陷修复 Mosquitto 1.5.7 是一个纯缺陷修复bugfix版后端消息队列消息路由Eclipse Mosquitto 0.11.1 发布MQTT 主题通配符检查缓冲区溢出修复与校验机制解析Eclipse Mosquitto 0.11.1 发布MQTT 主题通配符检查缓冲区溢出修复与校验机制解析 导读 本文基于 Mosquitto 仓库的官方发布物联网消息队列后端上一篇如何用elasticsearch-dump实现Elasticsearch数据迁移与备份策略下一篇4个维度解析iTop打造企业服务管理闭环的开源ITSM解决方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考