> projects / kangyang
康养源——基于多模态大模型的居家老人服务系统
01演示视频
▶
点击全屏预览演示视频
作品演示视频(中国大学生计算机设计大赛参赛作品),点击卡片在独立页面全屏播放。
02项目概述
面向居家养老场景的「社区 + 医疗 + 护理」一体化服务生态:将社区资源定向整合、协同护理机构,构建集医生、老人及子女、护工、管理员多用户一体的居家养老服务系统。
系统以 Web 端、Android 端、智能硬件端为服务入口,以大模型为后端数据处理核心,并创新性地将大模型与智能硬件结合,通过 API 调用构成智能 Agent——硬件感知用户语音输入、进行决策并给出语音回复。
03四大功能模块
生活护理模块
护工为老人提供日常护理、做家务、心理咨询等服务;双向选择替代单向安排,支持模糊搜索、分页、全局排序,实现护工与老人「双向奔赴」。
医疗服务模块
社区医生提供线上问诊、上门诊断等服务;自动按优先级依次预约多位医生,简化用户操作,附带健康报告与服务评价体系。
管理员信息管理模块
医护人员资质审核、机构入驻审核、举报单审核;ECharts 数据大屏展示用户/订单数量与增长趋势。
个人信息管理模块
角色化登录注册(双 token 安全验证)、个人中心、关注列表;AI 语音交互查询平台信息、AI 健康小助手。
04系统架构
客户端三端
Web 端:Vue2 + Element-UI + ECharts,Nginx 部署;
Android 端:uni-app + uView + z-paging;
智能硬件端:Zephyr RTOS(聆思 CSK6-MIX,CSK6011A,16MB Flash)+ LVGL,集成摄像头、麦克风、扬声器、2.4 寸触摸屏。
服务器后端
C# .NET WebAPI 遵循 REST 规范,统一 JSON 数据格式,采用 MVC 分层(视图/控制器/数据访问)与敏捷开发模式,Entity Framework 数据访问。
数据库
Oracle 承载用户、订单、资质、健康档案等核心业务数据,配合数据备份与完整性校验方案保障数据安全。
大模型能力
星火大模型:中文语义理解,承担落域意图判断与 Agent 对话;ChatGPT 经反向代理接入,支撑 AI 小助手。
05智能 Agent 技术链路
系统最核心的技术创新:把大模型通过 API 调用与智能硬件结合,构成能感知语音、自主决策的智能 Agent。完整链路共六步:
语音输入
硬件端采集语音,离线唤醒 + 离线识别预处理,云端正向处理。
设备号绑定 & 多轮语义改写
通过设备 ID 定位用户,查询历史会话;存在历史时先语义改写,保证多轮上下文连贯。
落域意图判断
用户问题 + 提示词发给星火大模型,判断业务域:护工订单 / 医生信息 / 医生服务订单 / 其他。
按域查数
根据落域结果调用特定 API 向后端请求数据,如指定设备 ID 的护工订单信息。
后置处理生成回复
返回数据 + 提示词 + 用户问题整合后再发给大模型,生成自然语言回复。
语音输出
回复文本经语音合成播报给老人,完成「说话 & 查询 & 回答」闭环。
06提示词工程实践
意图判断的准确率直接决定 Agent 好不好用。经多轮测试对比,两个场景分别采用不同的提示词框架——「让模型按流程办事」的关键不在模型更聪明,而在提示词把行为钉死。
RACE 框架
用于 Agent 的落域意图判断:赋予模型角色、意图、事例与结果期望,让分类结果精准符合预期。提示词明确「你只需要输出类别」,并把用户问题映射到预定义业务域。
CRISPE 框架
限定小助手只回答医疗、护理相关问题,并约束回复风格与语气,避免模型自由发挥。
语音交互
SpeechSynthesisUtterance + SpeechRecognition 实现健康小助手的语音播报与语音输入,老人无需打字、直接说话即可交互。
07项目总结与演进
升级计划:APP 端扩展医生/管理员角色、增加养老知识科普;大模型方向计划引入自主训练的领域模型,更贴合居家养老场景、保护用户隐私数据。
商业构想:前期以社区医疗站免费试用 + 聚焦老龄化议题的线上推广切入;中后期与护理机构合作,依托双向选择模式固定客源,按成交订单抽成实现共赢。
08成果
竞赛
华北五省大学生计算机应用大赛一等奖
中国大学生计算机设计大赛北京赛区二等奖
中国国际大学生创新创业大赛北京赛区三等奖
软件著作权
2024SR1066284、2024SR1053606(个人 2 项)
团队成员
冯隆成、吕松燕、张昔月
指导老师
车蕾、赵晓永