在核心技术上,中科创达面向NVIDIA Orin/Thor平台深度优化,采用NVIDIA TensorRT Edge-LLM作为底层推理引擎,并自研TS Edge-LLM Server服务框架,通过EAGLE-3投机采样、NVFP4量化、连续批处理、优先级调度、轻量KV Cache管理、ViT与LLM异步推理、零拷贝数据传递等关键技术,实现端侧多模态大模型高效推理,达到行业SOTA水平。方案支持OpenAI兼容API,大幅降低云端应用迁移成本,兼顾开发效率与量产可靠性。
在量产验证上,该方案基于Qwen2.5-VL-7B模型深度优化,已在车企量产项目中成功落地。实测数据显示,AI空调、儿童监测、增强哨兵、起步安全、下车安全等核心场景平均召回率超93%,最高接近97.5%,在数据隐私、响应延迟、运行稳定性上均满足车规级量产要求。
中科创达此次分享的核心经验,是以独立硬件提供可靠算力底座、以AI原生系统重构智能体验、以工程化技术保障量产落地、以全场景智能体贴近用户需求。未来,中科创达将持续深化与NVIDIA的生态协同,不断迭代端侧AI技术,推动生成式AI在智能汽车领域规模化普及,为行业提供更成熟、更稳定、更安全的量产级落地方案。