怎么了解百度蜘蛛到哪个网站,为什么网站打不开,wordpress本地做好了怎么备份,做腰椎核磁证网站是 收 七一、 行业背景
在具身智能的发展历程中#xff0c;AI 大模型的出现成为了关键的推动力量。这些大模型具有海量的参数和强大的语言理解、知识表示能力#xff0c;能够为机器人的行为决策提供更丰富的信息和更智能的指导。然而#xff0c;单纯的大模型在面对复杂多变的现实…一、 行业背景
在具身智能的发展历程中AI 大模型的出现成为了关键的推动力量。这些大模型具有海量的参数和强大的语言理解、知识表示能力能够为机器人的行为决策提供更丰富的信息和更智能的指导。然而单纯的大模型在面对复杂多变的现实物理环境时仍存在局限性因为机器人需要准确感知周围环境的三维结构、物体属性和空间关系。
这正是 3D 视觉技术发挥重要作用的地方。3D 视觉为机器人带来了前所未有的感知能力它能够精确地获取环境的深度信息构建出三维空间模型。与传统的 2D 视觉相比3D 视觉可以让机器人更准确地识别物体的形状、位置和姿态无论是在室内环境中识别家具的布局还是在工业场景中抓取复杂形状的工件3D 视觉都提供了关键的感知支持。
高校作为培养未来科技人才的摇篮需要紧跟这一前沿趋势开展具身智能实训课程。通过将 AI 大模型与具备 3D 视觉的机器人相结合为学生搭建一个实践平台使他们能够深入理解通用具身智能的原理和应用。这不仅有助于培养学生在人工智能和机器人领域的专业技能还能激发他们的创新思维为未来的科研和产业发展储备人才满足社会对具身智能相关技术日益增长的需求。
二、总体架构介绍
主要模块如下
1、多模态感知层
a.包括语音识别模块、视觉感知模块、以及触觉传感模块。
b. 语音识别通过LLM内置的语音识别工具如Whisper或开源的AppBuilder SDK将语音指令转化为文字并利用自然语言处理技术进一步解析指令。
c. 视觉感知采用3D深度相机Orbbec Gemini 335L和Femto Bolt iToF用于物体识别、三维定位和空间建图为机械臂提供环境感知支持。
d.触觉传感在机械臂末端安装力矩传感器检测机械臂与物体接触时的力反馈确保安全抓取并提升执行精度。
2、多模态理解与决策层
e.使用大语言模型如Yi-Large、GPT-4V、CogVLM2处理自然语言指令解析指令意图并生成相应的执行任务。
f.结合视觉和语音信息构建多模态融合模型实现对复杂指令的精准理解支持类似“把绿色积木放到红色方块上”这样的复杂命令。
g.多模态语义融合将语音、视觉信息和触觉数据汇总通过LLM分析输出物体的位置坐标、目标坐标并转换为机械臂的操作指令。
3、行动执行层
h.执行层包括任务规划模块、运动控制模块和机械臂操作模块。
i.任务规划模块利用逆运动学解算模块将物体坐标转化为电机的转动角度。根据大模型生成的操作步骤进行任务分解并发送给机械臂执行。
j.运动控制模块依托高精度六自由度机械臂睿尔曼 RM65-B机械臂能够根据指令进行精确运动和抓取。控制算法支持拖动示教、碰撞即停等功能保障操作的安全性和灵活性。
k.实时反馈与修正借助触觉传感器和视觉实时反馈调整机械臂的运动轨迹和抓取力度以确保任务的高精度和稳定性。
4、学习反馈层
l.利用多模态学习框架如深度强化学习DRL实时优化执行路径和抓取策略使系统在执行过程中能够自主学习和优化。
m.通过自动化的错误反馈机制收集任务执行过程中产生的错误信息和成功经验利用强化学习算法在仿真环境中反复训练提升系统的决策能力和任务执行成功率。
n.将实训过程中的各项数据进行记录提供给参与实训的本科生和研究生进行分析和复盘以便提升学生们对学习反馈层的理解。
三、技术方案实现概览
1、语音与视觉协同处理
语音指令通过LLM解析为动作指令并通过视觉感知模块定位目标物体。视觉模块通过3D相机构建环境的三维模型并实时跟踪物体位置。语音和视觉数据通过多模态大模型进行融合以实现指令的准确传达和物体的精确定位。
2、路径规划与逆运动学求解
通过多模态输入的坐标信息路径规划模块利用逆运动学算法生成机械臂的关节角度路径。该过程不仅考虑目标位置还要确保路径的碰撞避免及效率优化。
3、多传感器融合技术
通过深度学习算法将3D视觉数据与触觉反馈实时融合能够显著提升机械臂的抓取和放置精度。这种方法利用视觉传感器捕获物体的颜色和纹理信息同时通过触觉传感器获取物体表面的接触点位置和方向。在此基础上算法能够实时修正机械臂的运动路径优化避障和目标捕捉能力实现精确操作。
4、强化学习的训练与优化
在仿真环境中我们可以通过强化学习技术对机械臂的抓取策略和路径规划算法进行预训练和优化。这种方法可以显著提高机械臂在实际操作中的精度和稳定性同时降低失败率。通过仿真训练我们可以模拟不同的环境和障碍物设置让机械臂在虚拟环境中学习如何有效地避开障碍并准确抓取目标。这样当机械臂在现实世界中执行任务时它已经具备了一定的经验和策略能够更加稳定和精确地完成抓取和放置操作。
日前该“具身智能高校实训解决方案-从AI大模型机器人到通用具身智能”基于华为技术有限公司AI框架昇思MindSpore完成并通过昇腾相互兼容性技术认证。 四、教学实训与科研应用场景
1、任务分解与流程执行
如“沏茶”任务可以分解为多个子任务取杯、取茶、注水等。每个子任务的执行路径和动作参数通过多模态大模型生成和优化。学生可以深入理解自然语言指令到实际执行动作的整个流程。
2、多模态数据的融合与处理
学生将有机会使用语音、视觉和触觉等多模态数据进行分析和训练深入理解多模态数据融合的优势及其在具身智能中的应用。
3、自主学习和策略优化
通过强化学习框架的应用学生可以研究如何利用深度学习进行策略优化提升机械臂在动态环境中的适应能力。
4、前沿技术研究
结合多模态大模型与机器人控制技术为高校在机器人领域提供前沿研究的支撑。学生可在视觉-语言-动作模型、任务规划等领域探索新的研究方法进一步推动具身智能的技术进步。
五、实训方案优势
1、真实场景模拟
通过3D视觉和触觉传感实现环境感知和任务执行学生可以体验从仿真到真实场景的任务转移过程提升其实践操作能力。
2、创新性与前沿性
系统整合了当前最前沿的大语言模型、多模态融合、深度学习和3D视觉等技术符合当前具身智能的最新发展方向。
3、高度模块化与灵活扩展
硬件和软件模块高度集成可根据实际需求更换3D相机、传感器及大模型等使平台具有高度的扩展性。
六、面向专业
本实训解决方案面向相关专业的本科、高职和研究生。主要面向的专业包括
1.自动化类自动化、轨道交通信号与控制、机器人工程、智能装备与系统、工业智能、智能工程与创意设计等
2.计算机类计算机科学与技术、软件工程、网络工程、物联网工程、智能科学与技术、空间信息与数字技术、电子与计算机工程、数据科学与大数据技术、电影制作、服务科学与工程、虚拟现实技术等
3.电气类电气工程及其自动化、电气工程与智能控制、电动载运工程、电机电器智能化等
4.电子信息类电子信息工程、通信工程、微电子科学与工程、光电信息科学与工程、信息工程、集成电路设计与集成系统、医学信息工程、电磁场与无线技术、电子信息科学与技术、应用电子技术教育、人工智能、智能测控工程和智能视觉工程等
5.机械类机械工程、机械设计制造及其自动化、机械电子工程、过程装备与控制工程、车辆工程、微机电系统工程、机电技术教育、智能制造工程、智能车辆工程、仿生科学与工程、新能源汽车工程、智能交互设计、工程和农林智能装备工程等
6.交通运输类交通运输、交通工程、轮机工程、飞行技术、交通设备与控制工程、船舶电子电气工程、轨道交通电气与控制、智慧交通和智能运输工程等
7.航空航天类航空航天工程、飞行器设计与工程、飞行器制造工程、飞行器动力工程、飞行器适航技术、飞行器控制与信息工程、无人驾驶航空器系统工程、智能飞行器技术、空天智能电推进技术等
8.兵器类武器系统与工程、武器发射工程、探测制导与控制技术、信息对抗技术和智能无人系统技术等
9.其他专业农业机械化及其自动化、农业电气化、农业智能装备工程、智慧建筑与建造、公安视听技术、未来机器人、交叉工程、智能医学工程、智能影像工程、大数据管理与应用、物流工程、测控技术与仪器、智能感知工程、海洋机器人、智慧海洋技术和智能海洋装备等
七、产品清单 项目/产品 建议配置 介绍 奥比中光 Gemini 335L 双目结构光3D相机 按实训学生人数每2人或4人配置一台 全天候视野室内外通用设计不惧户外强光可应对复杂场景挑战。 精准感知采用奥比中光最新自研先进深度引擎芯片 MX6800独特的主动双目合成成像系统能稳定输出高质量深度数据准确感知物体。 多传感器集成Depth、IR、RGB、IMU 采用统一的硬件时间戳。 高帧率支持最高 60fps 的帧率。 防尘防水防护等级为 IP65。 配套 SDK助力便捷开发多种模式可选。 小巧机身配备 95mm 基线机身小巧为用户提供更多自由空间。 奥比中光 Femto Bolt iToF 3D相机 按实训学生人数每2人或4人配置一台 与微软联合打造是微软官方推荐的 Azure Kinect DK 替代选择采用了微软最新的先进 ToF 传感技术拥有与微软 Azure Kinect DK 深度相机完全一致的工作模式和性能表现。 提供多种支持为了帮助 Azure Kinect DK 原有开发者更好地切换到 Femto Bolt 相机提供与 Azure Kinect Sensor SDK API 接口兼容的 Orbbec SDK K4A Wrapper、可直接接入 Azure Kinect body tracking 算法的 Demo 以及快速便捷将原有应用中的 Azure Kinect DK 切换至Femto Bolt的指导文档同时也提供了 Orbbec SDK帮助用户更好兼容 Astra、Gemini 系列相机轻松完成应用开发。 六自由度超轻量仿人机械臂 产品型号RM65-B 按实训学生人数每2人或4人配置一台 超轻量仿人机械臂在5Kg负载的情况下机械臂内部集成控制器自重仅7.2Kg拥有高达11.44的超高负载自重比整臂最大直径11.4cm类人手臂大小综合功耗≤100W最大功耗≤100W同时具备丰富的末端和底座控制器接口满足多行业应用扩展需求。先进的控制算法使得机器人具备拖动示教、碰撞即停等传统协作机器人功能。机械臂强大的扩展能力和无线通信功能能够通过机械臂自身控制器实现对移动底盘和末端执行器的控制方便与升降导轨和移动底盘进行集成。 大模型等相关算法和实训环境 提供包括并不限于左侧的算法API、SDK及相应的Tokens额度 不限于以下开发环境和算法模型 开发环境树莓派4B、Ubuntu 20.04等 语音识别AppBuilder-SDK短语音识别极速版等 语音合成AppBuilder-SDK短文本在线合成PaddleSpeech-TTS等 大语言模型Yi-Large、ERNIE、Qwen等 多模态视觉语言大模型Yi-Vision、Qwen-VL、CogVLM2、InternVL、Grounding DINO等 交付物 技术资源包不少于2个大语言模型和2个多模态模型的Tokens的3年服务包SDK API使用说明文档、3D视觉技术教程。 源代码与模型文件交付DEMO工程源代码和模型文件。 不少于1个大语言模型和1个多模态模型的开源大模型部署指南。 实践项目与评估机器人实训实验全流程示例DEMO工程源代码示例模型文件、代码文件及使用说明文档。 交付形式 电子文档所有代码、模型相关的材料、技术指南和使用说明均以PDF、word、PPT等通用格式提供。部分提供在线访问权限确保学生可以随时查阅最新资料。 AI实训项目课程 8个企业级AI具身智能实训项目课程和2个大模型领域的AI课程 企业级AI具身智能实训项目课程每个实训项目课程18课时 大模型与多模态模型基础操作与应用 3D视觉与物体识别技术 自然语言处理与人机交互技术 视觉-语言-动作融合模型实验 协作机器人控制技术 机器人语义理解与任务调度 3D场景语义重建与交互 机器人应用开发与项目实践 AI课程每个课程64课时其中32课时理论课和32课时案例实践课 大语言模型方向课程可选《大语言模型原理及应用实践》 多模态大模型方向课程《AIGC应⽤开发实践》。 交付物 课程设计与实训材料每个课程一套详细的课程大纲、教案、实训指导书和代码文档真实具身智能应用案例研究。每个课程包含 2课时的导学视频。 交付形式 所有课程材料、技术指南和实验说明均以PDF、word、PPT等通用格式提供部分提供在线访问权限确保学生可以随时查阅最新资料。 师资培训 3课时 具身智能与3D视觉技术的融合应用 培训课程大纲及体系架构详解 机器人抓取任务实战演示 实训流程及操作指南 创新实践项目的探索与实施 实训过程中的关注点与风险规避 AI训练服务器 学校自备 考虑到现在大部分学校已经有自有的本地AI训练服务器或云服务器同时本项目基本不太涉及算法训练的环节所以本方案暂未给出AI训练服务器如有需求可另行给出。
相关硬件介绍
该方案集成最新的深度相机Gemini 335L和Femto Bolt能够基于语音指令自动执行沏茶、插花、滴香薰、播放音乐等一系列复杂任务。 奥比中光 双目结构光3D相机
产品型号Gemini 335L 产品特点
全天候视野室内外通用设计不惧户外强光可应对复杂场景挑战。
精准感知采用奥比中光最新自研先进深度引擎芯片 MX6800独特的主动双目合成成像系统能稳定输出高质量深度数据准确感知物体。
强大功能
多传感器集成Depth、IR、RGB、IMU 采用统一的硬件时间戳。
高帧率支持最高 60fps 的帧率。
防尘防水防护等级为 IP65。
配套 SDK助力便捷开发多种模式可选。
小巧机身配备 95mm 基线机身小巧为用户提供更多自由空间。 参数名称 技术指标 场景 全场景室内 室外 工作距离 0.17 - 10m 分辨率 Up to: 1280x80030fps1280x72030fps640x40060fps848x48060fps FOV 90°×65°×3°2m 处 1280×800 RG 白平衡 81%R012%1280×8004m 快门类型 Global Shutter RGB 分辨率 Up to: 1280×80060fps1280x72060fps RGB FOV 94°×68°×3° 输出格式 MPEG, YUYV 光距模块 0 - 0.4m IMU 支持 多机同步 支持 相机接口 USB3.0 Type - C 工作温度 -10°C - 50°C 结构尺寸 124mmx29mmx27mm 奥比中光 iTOF深度相机
产品型号Femto Bolt i 产品特点
与微软联合打造与微软联合打造是微软官方推荐的 Azure Kinect DK 替代选择采用了微软最新的先进 ToF 传感技术拥有与微软 Azure Kinect DK 深度相机完全一致的工作模式和性能表现。
提供多种支持为了帮助 Azure Kinect DK 原有开发者更好地切换到 Femto Bolt 相机提供与 Azure Kinect Sensor SDK API 接口兼容的 Orbbec SDK K4A Wrapper、可直接接入 Azure Kinect body tracking 算法的 Demo 以及快速便捷将原有应用中的 Azure Kinect DK 切换至 Femto Bolt 的指导文档同时也提供了 Orbbec SDK帮助用户更好兼容 Astra、Gemini 系列相机轻松完成应用开发。
适用场景广泛可应用于体感交互、体积视频捕捉等领域。 参数名称 技术指标 基本参数 适用环境室内 半室外 深度技术iToF IMU三轴线加速度 三轴角速度 SDKOrbbec SDK、Orbbec SDK K4A Wrapper 连接方式1. DC 供电 Type - C 数据传输2. Type - C 供电 Type - C 数据传输 深度参数 深度 FOVNFoVH75 ° V65 °WFoVH120° V120° 深度分辨率 帧率WFoV unbinned1024 × 10245/15fpsWFoV binned512 × 5125/15/25/30fpsNFoV unbinned640 × 5765/15/25/30fpsNFoV binned320 × 2885/15/25/30fps 深度相对精度0.15%1m 激光波长850nm环境光 2.2 μW/cm2/nm物体表面反射率15% 到 95% 相对精度随机误差标准差≤17mm 绝对精度典型系统误差 11 mm 0.1% 的距离无多路径干扰 RGB 参数 彩色相机 FoVH 80 ° V 51°169H 65 ° V 51°43 彩色图像分辨率 帧率、图像格式169 - 3840 x 21605/15/25/30fps MJPEG2560 x 14405/15/25/30fps MJPEG1920 x 10805/15/25/30fps MJPEG1280 x 7205/15/25/30fps MJPEG、YUY2、NV1243 - 1280 x 9605/15/25/30fps MJPEG 快门类型卷帘快门 电气参数 供电方式DC/Type - C 供电建议DC 12V 2AType - C 5V 3A 功耗平均功耗 - DC 供电 Type - C 数据传输4.7WType - C 供电 Type - C 数据传输4.3W 物理参数 工作温度10 ℃ - 25℃ 尺寸115.30 × 64.95 × 40.26mm ± 0.3mm 整机重量348g ± 3g 数据接口USB 3.0 Type - C 母座8 Pin - Connector 母座 安装方式1x 1/4 - 20 UNC 螺孔4x M2.5 螺孔 系统要求 适用操作系统Windows 10、Linux Ubuntu 18.04 (x64) 主机要求第七代 Intel® CoreTM i5 处理器四核 2.4 GHz 或更快4 GB 内存支持 OpenGL 4.4 或 DirectX 11.0 的图形驱动程序 睿尔曼 六自由度超轻量仿人机械臂 RM65-B 产品特点
超轻量仿人机械臂在5Kg负载的情况下机械臂内部集成控制器自重仅7.2Kg拥有高达11.44的超高负载自重比整臂最大直径11.4cm类人手臂大小综合功耗≤100W最大功耗≤100W同时具备丰富的末端和底座控制器接口满足多行业应用扩展需求。先进的控制算法使得机器人具备拖动示教、碰撞即停等传统协作机器人功能。机械臂强大的扩展能力和无线通信功能能够通过机械臂自身控制器实现对移动底盘和末端执行器的控制方便与升降导轨和移动底盘进行集成。 可配套搭载不同类型的复合机器人 具有以下特点
1超高负载自重比
超轻便机身,机械臂含控制器自重仅7.2Kg,有效负载达5Kg,拥有1:1.44的负载自重比有效工作半径最高达 610mm。
2灵活部署
超小体积机械臂最大直径11.4cm,仿人手臂大小降低了安装空间要求更方便灵活。
3超低功耗
直流24V供电可适用于移动电源在普通工况下功率≤220W可应用于多种场景。
4集成控制器
无传统控制柜将控制器与机械臂完美融为一体。
5超高兼容性
末端具备通用接口灵活扩展即插即用一体化机械臂结 构且自带丰富接口满足多行业应用需求扩展。
6系统开放
开放的API函数库支持C/C编程语言支持Windows/ Linux/ROS机器人操作系统及多种通讯协议。
7安全灵活
灵敏的拖拽编程可完整复现拖动轨迹碰撞达到力矩上限机器人及时停止避免人或设备受到伤害。
8无线便捷互联
智能终端可通过有线和无线连接控制机械臂任意切换方便快捷摆脱控制线缆束缚。
9无线便捷互联
一体化模块化设计拆装更便捷维护成本低效率更高。 技术参数 名称 规格说明 超轻量仿人机械臂 1、机械臂本体 1最大臂展610mm 2额定负载5kg 3重复定位精度±0.05mm 4净重7.2kg 5安装方式台面 6工作温度0℃~45℃ 7工作湿度10%~80%且无凝露 8控制轴数6轴 9输入电源DC24V 10输出电源24V DC1A 11支持电机功率所有轴≤220W 12整机尺寸110×110×850mm 13通信接口Ethernet/WIFI/RS485/蓝牙/USB串口 14I/O接口 数字输出4路 数字输入3路 15示教方法平板/手机 16环境温度0℃~45℃ 17湿度≤95%且无凝露 18维护诊断软件工具断电零位保存功能关节异常状态保护
大模型等相关算法和实训环境
奥比中光2.0版大模型机械臂结合多模态大模型技术语音、文本、视觉与机械臂控制技术可以生成空间语义信息帮助机械臂准确识别、理解生活中的常见物体并执行相应动作可识别物体包括日常用品、食品和工业零件等。
开发环境树莓派4B、Ubuntu 20.04等
语音识别AppBuilder-SDK短语音识别极速版等
语音合成AppBuilder-SDK短文本在线合成PaddleSpeech-TTS等
大语言模型Yi-Large、ERNIE、Qwen等
多模态视觉语言大模型Yi-Vision、Qwen-VL、CogVLM2、InternVL、Grounding DINO等
机器人沏茶倒茶实训案例 以最具挑战性的沏茶任务为例: 通过语音输入大模型进行语义理解转化成系统需要执行指令集 两台3D深度相机分别从不同角度拍摄场景并进行自主学习 机械臂根据大模型所生成的指令集开始执行对应的动作 机械臂在深度相机支持下实现茶具定位、动作引导最终完成置茶、冲泡、倒茶、奉茶全流程。
整体算法系统的难点在于流程长、步骤多需要保证动作执行的准确性和多步骤之间的逻辑合理性。我方研发团队借助高精度Gemini 335L和Femto Bolt相机实现目标抓取位姿的精确定位结合大模型的理解能力经过长期算法优化与仿真环境调试最终实现对沏茶等复杂任务的理解、规划与自动执行。
八、AI实训课程
企业级AI实训项目完全从商业化出发全部都是真实投入市场中的项目。根据不同行业对于人才的需求对这些真实的项目进行里程碑和任务拆解、教学环节的标准化设置等及教研工作从商业产品变成培养符合企业实际用人需求的实训项目。AI课程选取了AI不同领域的经典案例进行标准化的二次开发和任务拆解从传统的讲解调整为动手实操。
1、AI具身智能实训项目课程
8门企业级AI实训课程以AI、机器人、大模型、多模态大模型等领域为重点并结合了具体的硬件设备如3D相机、机械臂和相关的技术模块如语音识别、视觉感知、触觉传感等。每门课程的内容遵循「多模态输入 - 感知与理解 - 行动执行 - 反馈学习」的逻辑闭环过程保证学生能够在实际操作中掌握AI与机器人的核心技术并能够自主研发适合商业化应用的解决方案。
课程一大模型与多模态模型基础操作与应用
课程目标掌握大模型和多模态模型的基础原理和操作学习如何将多模态数据如语音、文本、视觉用于机器人的交互应用。
课程内容
1. 大模型与多模态模型概述
a. 大模型的概念、主要应用领域以及在机器人中的应用
b. 多模态模型的基本构成及其交互方式
c. 多模态模型在智能交互中的关键作用
2.环境搭建与硬件连接
a.奥比中光3D深度相机与睿尔曼机械臂的连接和测试
b.SDK和API调用测试通过示例程序掌握硬件的基础操作
3.多模态模型实操
a.使用3D相机、麦克风等设备采集多模态数据
b.使用语音、视觉、文本三模态数据进行交互实验
c.利用大模型算法实现机器人对语音指令的识别与理解
4.基础任务实现物体识别与抓取
a.基于3D深度相机进行物体的3D重建与识别
b.机械臂的抓取操作通过算法实现简单物体的识别与分类
5. 课程项目
a.项目1使用语音指令控制机械臂实现物体识别并进行抓取
课程二3D视觉与物体识别技术
课程目标掌握3D视觉感知技术应用3D深度相机进行复杂物体的识别和定位。
课程内容
1.3D视觉感知原理
a.深度相机的工作原理及技术特点
b.3D视觉感知在机器人中的重要性
2.奥比中光深度相机操作
a.Gemini 335L 和 Femto Bolt深度相机的配置与调试
b.实现不同场景下的3D数据采集与实时分析
c.系统集成后的数据融合与处理方法
3.物体识别与抓取实验
a.使用深度相机识别形状复杂的物体如玻璃和透明物体
b.结合大模型算法生成空间语义信息提升物体定位精度
c.3D数据的预处理方法提升物体定位与抓取的准确性和鲁棒性
4.进阶任务规划与执行
a.使用Femto Bolt相机进行体积视频捕捉和场景重建
b.基于视觉反馈的多步任务规划
5.课程项目
a.项目2在复杂场景中使用机械臂识别并抓取不同种类的物体
课程三自然语言处理与人机交互技术
课程目标掌握自然语言处理技术学习如何让机器人基于语音指令执行任务。
课程内容
1. 自然语言处理基础
a.自然语言理解与生成的基本原理
b.人机对话系统的设计与实现
2.大语言模型的应用
a.结合深度学习模型提升机器人对语言的理解能力
b.语言数据的收集、标注与模型训练
c.模型评估与调优策略
d.实际应用中的挑战与解决方案
3.语音交互实验
a.设计语音指令并编写指令解析代码
b.测试机械臂在自然语言指令下的动作反应
4.人机对话与任务调度
a.根据语音指令进行任务规划和动作执行
b.多任务处理和优先级调度算法
c.分析并改进语音识别与理解的准确性和鲁棒性
5.课程项目
a.项目3基于自然语言的复杂任务交互实现多步任务的语音控制
课程四视觉-语言-动作融合模型实验
课程目标探索视觉、语言和动作的多模态融合应用。
课程内容
1.视觉-语言-动作模型简介
a.Robotic Transformer等多模态模型的原理和应用场景
b.多模态数据的标注与融合算法
2.多模态数据融合实验
a.实现视觉与语言的匹配和动作响应
b.测试机械臂对语言指令的响应与反馈
3.复杂任务规划与视觉引导
a.使用大模型算法生成动作序列并实现视觉引导
b.调试在不同条件下的任务执行稳定性
4.多模态交互应用开发
a.利用Orbbec SDK结合3D场景重建实现视觉-语言互动
b.基于场景语义理解调整任务规划
c.多模态数据融合实验
5.课程项目
a.项目4开发视觉-语言-动作融合模型实现场景交互
课程五协作机器人控制技术
课程目标学习协作机器人的控制算法及应用提升机械臂的操作精度和安全性。
课程内容
1.协作机器人概述
a.协作机器人控制算法与应用
b.安全性与灵敏性的控制策略
2.机械臂的控制与调试
a.基于睿尔曼六自由度机械臂的控制接口
b.开发拖动示教、碰撞即停等功能
3.精度与稳定性调优
a.使用反馈控制技术提升动作的准确性
b.实现复杂轨迹规划与误差补偿
c.系统鲁棒性分析与优化
4.机器人控制接口编程
a.使用ROS和C编程控制机械臂
b.控制机械臂实现复杂的动态交互
5.课程项目
a.项目5编写程序实现机械臂的高精度抓取与安全避障
课程六机器人语义理解与任务调度
课程目标深入理解机器人语义理解技术实现多任务调度与执行。
课程内容
1. 语义理解原理
a.大模型的语义理解与生成技术
b.多任务调度与优先级管理
2.多任务调度算法
a.任务优先级算法的设计与优化
b.基于ROS的任务调度
3.复杂任务调度实验
a.根据任务复杂度和资源需求进行任务分配
b.动态任务分配与资源管理
4.语义理解与执行
a.基于自然语言的语义解析实现任务调度
b.利用Femto Bolt相机辅助视觉引导
c.结合多模态信息提升任务执行的准确性
d.语义理解系统在不同语言和环境中的适应性
5.课程项目
a.项目6基于语义解析的多任务调度系统完成多个任务
课程七3D场景语义重建与交互
课程目标学习3D场景语义重建技术应用于机器人任务规划。
课程内容
1.3D场景语义重建原理
a.3DGS机器人自动三维场景语义重建技术
b.场景中的物体定位与语义分割
c.相关的深度学习模型与算法
2.场景建图实验
a.利用深度相机进行3D场景扫描
b.实现透明物体和小型物体的精确识别
3.语义分割与物体识别
a.实现场景中不同物体的语义分割
b.根据语义分割信息生成任务执行方案
4.基于场景的任务规划
a.自动生成机械臂的路径规划和任务执行流程
b.基于物体属性和空间关系的任务调整
5.课程项目
a.项目7开发场景语义重建与识别应用提升交互体验
课程八机器人应用开发与项目实践
课程目标综合应用前七门课程所学内容完成一个完整的机器人应用开发项目。
课程内容
1.项目需求分析与方案设计
a.确定项目需求分析实现难点与技术路径
b.设计软件架构与硬件部署方案
2.系统开发与调试
a.集成大模型、多模态数据、3D视觉与控制技术
b.实现从场景识别到任务执行的完整流程
3.实验测试与优化
a.进行多次实验测试调整参数以保证稳定性
b.优化交互体验确保执行效果
4.项目总结
a.总结项目开发过程中的经验与教训
b.分析项目的成功之处与不足之处
2、AI课程
以下是为CS/AI专业本科生设计的AI课程大纲包括2门课程分别是《大语言模型原理及应用实践》和《AIGC应⽤开发实践》。每门课程64课时理论32课时实践32课时。
2.1 大语言模型方向课程可选《大语言模型原理及应用实践》
理论32课时实践32课时10个以上PPT实验指导书8个。
课程主要围绕大语言模型技术的核心知识点展开重点介绍背景与基础知识、大语言模型架构、预训练、微调与对齐P-tuning、Lora、RLHF、推理与部署、大模型应用技术RAG、Agent等部分并梳理最具代表性的模型如GPT系列、T5、ChatGLM系列以及基于MOE结构的大语言模型等。
为帮助学生更好地理解和掌握大语言模型技术能够快速上手相关的科研与工程项目本课程为每个核心知识点配备有趣的实验案例并给出详细的步骤讲解。
课程内实验案例包括
1法律领域大模型构建基于中国法律知识数据使用LoRA等技术微调Gemma大模型实现法律知识问答和法条推理功能并基于Streamlit框架实现用户交互界面方便用户与微调后的模型以自然语言进行法律知识问答以及根据用户的案情描述进行法条推理。案例要求至少包含构建法律知识数据集、数据预处理、Gemma大模型原理介绍、LoRA微调LLM、模型推理、WebUI构建。实验时长4课时。
2金融领域大模型构建基于金融数据使用QLoRA等技术微调Llama3大模型使其具备金融知识问答、解读年报、深度金融分析的能力能够回答用户提出的金融专业问题以及对年报信息进行分析并搭建WebUI界面与用户的交互。案例要求至少包含金融知识数据集构建、数据预处理、Llama3大模型原理介绍、QLoRA技术的使用、模型推理、基于Gradio构建WebUI。实验时长4课时。
3大模型量化基于GPTQ、AWQ、llama.cpp等技术对大模型进行量化处理并测试量化后模型的性能。案例要求至少包含对齐数据准备、GPTQ、AWQ、llama.cpp量化技术的原理介绍、参数配置、量化后模型的推理及性能测试。实验时长4课时。
4农业领域大模型应用基于检索增强生成RAG技术构建农业知识库在农业知识库中检索用户输入信息的上下文来优化Prompt并输入给大模型实现农业知识问答系统问答内容包含作物栽培技巧、病虫害防治措施、土壤改良建议。案例要求至少包含农业语料收集与清洗、文档加载、文本分割、Embedding、Faiss向量数据库、向量相似度计算、Rerank、模型部署与推理、WebUI构建。实验时长4课时。
5医疗领域大模型应用基于大语言模型LLM GraphRAG构建医学知识图谱模型能够根据用户查询信息精准做出回答实现医学知识问答功能能够根据用户病情描述识别潜在病症与治疗建议实现智能线上问诊功能能够帮助用户快速阅读医学文献实现医学文献摘要功能。案例要求至少包含医学数据收集与清洗、GraphRAG安装、图索引构建、全局查询、局部查询、大语言模型本地部署vllm、Embedding模型部署等知识点。实验时长4课时。
6工业制造领域Agent构建利用铸造产品数据集训练CNN分类模型实现工业铸造产品缺陷识别工具Tool并通过大语言模型LLM和LangChain中的ReAct框架创建工业铸造产品缺陷识别智能体AgentAgent根据用户输入的图片自主进行思考、观察、行动最终完成铸造产品缺陷识别的任务。案例要求至少包含训练工业铸造产品缺陷识别模型、LLM本地部署、ReAct框架的原理与运行机制、提示模板设计。实验时长4课时。
7课程大纲包括课程基本信息、课程教学目标、课程教学内容和要求、课程教学方法、课程考核、本课程与其他课程联系与分工、建议教材及教学参考书七个部分。
2.2 多模态大模型方向课程《AIGC应⽤开发实践》
理论32课时实践32课时20个PPT实验指导书8个。
课程旨在系统讲解AIGC相关的理论和技术并配套相关的实验案例提供包括大模型技术概述、面向理解任务的多模态大模型、面向生成任务的多模态大模型、兼顾理解和生成任务的多模态大模型、知识增强的多模态大模型、大模型的预训练与微调、大模型的评估压缩推理与部署、大模型的安全性、课程总结等课程内容提供基于CLIP模型的智能广告生成系统、基于VATT模型的视频检索系统、基于Stable Diffusion模型的影视特效生成、基于VL-T5模型的智能教育问答系统等共计8个配套实验。
课程内实验案例包括
1包括基于CLIP模型的智能广告生成系统利用先进的图像与文本匹配技术实现自动化创作个性化高相关度广告内容提升营销效率与用户体验。
2包括基于VATT模型的视频检索系统该实验融合视觉、音频、文本及时序信息实现精准高效的视频内容搜索与定位从而优化视频检索的用户体验。
3包括基于DDPM模型的高质量图像生成通过深度学习与强化学习的结合从而可生成细腻逼真的图像推动数字艺术与视觉内容创作的新边界。
4包括基于Stable Diffusion模型的影视特效生成通过扩散模型的微调可生成影视特效画面从而革新视觉效果制作快速渲染逼真特效加速影视后期制作引领影视艺术新潮流。
5包括基于VL-T5模型的智能教育问答系统融合视觉与自然语言理解技术可实现精准解答学习疑问助力个性化教育提升学习效率。
6包括基于ERNIE-ViL模型的智慧医疗系统通过深度融合视觉与语言知识精准辅助医疗决策提升诊疗效率与质量引领健康医疗新未来。
7包括基于Unified VLP模型的智慧工厂监控系统集成视觉与自然语言处理技术实时监控生产流程优化资源配置提升工厂智能化管理水平。
8包括基于BLIP-2模型的智能音乐生成系统融合多模态学习自动创作个性化旋律与和声开启音乐创作新纪元。
2.3 课程配套
1课程介绍
2课程大纲
3PPT课件
《大语言模型原理与应用实践》课程包含十章PPT课件涉及内容为认识大语言模型、大语言模型基础、大语言模型的主流架构、稀疏结构大模型、大语言模型训练技术、人类对齐、大语言模型推理与部署、检索增强生成技术、智能体、大语言模型评估
《AIGC应用开发实践课程:多模态大模型应用开发》课程包含二十一章PPT课件涉及大模型技术概述、大模型的基础知识、多模态大模型概述、CLIP模型原理、VATT模型原理、ALIGN模型原理、基础扩散模型原理、DDPM模型原理、DDIM模型原理、Stable Diffusion模型原理、VL-T5模型原理、Unified VLP模型原理、BLIP-2模型原理、ERNIE-ViL模型原理、大模型的预训练、大模型的微调技术、大模型的评估、大模型的压缩技术、大模型的推理与部署、大模型的安全性、课程总结与未来展望。
4实验指导书
《大语言模型原理与应用实践》实验指导书包含8个
《AIGC应用开发实践课程:多模态大模型应用开发》实验指导书包含8个。
5实验相关资料
《大语言模型原理与应用实践》实验案例提供实验环境和实验指导手册。包含源码、实验目的、实验内容、实验数据、实验知识点、实验时长、实验环境介绍、实验分析、实验过程详解模型和数据下载、代码构建与分析、实验结果
《AIGC应用开发实践课程:多模态大模型应用开发》实验案例提供实验环境和实验指导手册。包含源码、实验目的、实验内容、实验数据、实验知识点、实验时长、实验环境介绍、实验分析、实验过程详解模型和数据下载、代码构建与分析、实验结果。
