简介
NVIDIA ChatRTX 是一款运行在个人电脑上的本地 AI 聊天与文档问答助手,基于 NVIDIA RTX 显卡的 TensorRT-LLM 加速技术离线运行大语言模型。用户可以导入本地文档,ChatRTX 会基于检索增强生成(RAG)技术对私有文件进行智能问答,全程数据不出设备,充分保障隐私安全。
核心功能
- 本地推理:离线运行大模型,无需云端服务
- 文档知识库:解析 PDF、Word、笔记等本地文件
- RAG 问答:结合检索上下文精准回答文档相关问题
- RTX 加速:利用 TensorRT-LLM 获得高推理性能
- 隐私无忧:所有数据处理都在本机完成
使用场景
适合对数据隐私有严格要求的研究者、企业与个人用户,在本地构建私有知识库进行文档检索、笔记问答与知识整理,无需将敏感数据上传至云端。