1. 项目背景与核心目标

这个医患沟通模拟系统是我们团队在山东大学软件学院创新项目实训中开发的第二代产品。作为医学院校背景的软件工程学生，我们深刻理解医患沟通培训中的痛点——传统角色扮演方式存在成本高、标准化难、反馈滞后等问题。

系统核心架构分为三大模块：

• UE引擎驱动的3D虚拟场景
• LLM支撑的自然语言交互
• 多维度评价反馈体系

在第一代系统中，我们实现了基础问诊流程模拟，但存在对话生硬、评价维度单一等问题。本次迭代重点突破三个方向：

1. 通过LLM微调实现更专业的医学对话逻辑
2. 引入混合空间技术提升场景真实感
3. 构建基于RAG的知识增强系统

提示：项目开发使用UE5.3版本，LLM基座选择Llama2-13B，需特别注意版本兼容性问题

2. UE场景构建关键技术

2.1 混合空间设计实践

在急诊科场景中，我们采用UE的混合空间（Blend Space）技术处理医生移动时的动作过渡。通过设置速度（Speed）和方向（Direction）两个维度参数，实现了从站立问诊到病床检查的自然过渡。

关键配置参数：

[BlendSpace1D] MinSpeed=0 MaxSpeed=300 BlendParameters=(AxisToScale=X)

常见问题排查：

• 动作卡顿：检查骨骼重定向是否匹配MetaHuman标准
• 穿模问题：调整碰撞体（Collision）的Preset设置
• 光照异常：重建光照贴图时开启Force No Precomputed Lighting

2.2 视觉特效优化方案

为增强沉浸感，我们在医疗设备上添加了动态粒子效果：

1. 心电监护仪：使用Niagara系统模拟波形
2. 输液架：液体滴落效果通过材质透明度动画实现
3. 手术灯：动态光晕配合镜头光斑（Lens Flare）

性能优化技巧：

• 将频繁调用的粒子系统设为Instanced
• 使用HLSL自定义着色器替代蓝图逻辑
• 静态物体批量设置HLOD

3. LLM交互系统实现

3.1 领域微调方案设计

采用LoRA方式对Llama2进行微调，训练数据来源：

• 真实门诊录音转写（脱敏处理）
• 医学教材结构化问答对
• 模拟问诊剧本数据集

微调关键参数：

training_args = TrainingArguments( per_device_train_batch_size=8, gradient_accumulation_steps=4, warmup_steps=100, max_steps=5000, learning_rate=3e-4, fp16=True, logging_steps=50, output_dir="./results" )

3.2 RAG知识增强实现

构建医学知识库的步骤：

1. 数据采集：PubMed文献+临床指南PDF
2. 文本分割：按章节切分，保留上下文
3. 向量化：使用BAAI/bge-small-zh-v1.5模型
4. 检索策略：MMR算法平衡相关性与多样性

检索示例代码：

def retrieve(query, k=3): embeddings = model.encode(query) scores = (embeddings @ knowledge_vectors.T).squeeze() indices = (-scores).argsort()[:k] return [knowledge_base[i] for i in indices]

4. 评价体系设计细节

4.1 多维度评估模型

开发了包含5个维度的评价算法：

1. 医学准确性（基于知识库匹配）
2. 沟通效率（对话轮次/信息量比）
3. 共情表现（情感关键词分析）
4. 流程完整性（标准问诊节点覆盖）
5. 风险识别（关键词触发机制）

评分算法伪代码：

def evaluate(dialog): accuracy = knowledge_match(dialog) efficiency = len(dialog)/info_entropy(dialog) empathy = sentiment_analysis(dialog) completeness = check_milestones(dialog) risk = trigger_keywords(dialog) return weighted_sum([accuracy, efficiency, empathy, completeness, risk])

4.2 实时反馈界面

UE Widget Blueprint实现技巧：

• 使用Canvas Panel+Scale Box响应式布局
• 关键指标采用Progress Bar动态显示
• 错误提示绑定Timeline动画
• 语音评价通过Sound Wave可视化

5. 系统集成与性能优化

5.1 UE-LLM通信方案

采用gRPC实现跨进程通信：

1. UE端：封装Blueprint Function Library
2. Python服务：启动gRPC Server
3. 协议设计：

message DialogRequest { string context = 1; string current_query = 2; } message DialogResponse { string reply = 1; repeated float emotion_scores = 2; }

5.2 性能瓶颈解决方案

测试发现的三大性能问题及对策：

1. LLM响应延迟：
   • 实现对话缓存机制
   • 使用vLLM加速推理
2. UE渲染卡顿：
   • 优化场景LOD设置
   • 启用Nanite虚拟几何体
3. 内存泄漏：
   • 使用Unreal Insights工具分析
   • 规范UObject生命周期管理

6. 实训收获与项目展望

通过本次项目，团队掌握了三大核心技术：

1. UE高级特性应用：Nanite/Lumen/MetaHuman
2. LLM领域适配技术：LoRA/P-Tuning/RAG
3. 复杂系统集成方案：gRPC/WebSocket/ROS

下一步计划：

• 接入更多专科场景（儿科/精神科）
• 开发教师后台管理系统
• 探索多智能体（Agent）协作模式

注意：项目部署时需要特别注意医疗数据合规性，建议采用本地化部署方案。所有训练数据需经过严格的脱敏处理，符合《医疗机构病历管理规定》要求。