物联网&人工智能

人工智能技术实训室建设方案

是综合人工智能技术、嵌入式接口技术、传感器采集控制技术、物联网通信技术的“AI+IoT”智联网技术开发平台。平台面向物联网创新应用、端侧人工智能方向的教学、实训与创新应用。满足人工智能技术服务专业的教学、实验、智能产品应用开发的平台。平台基于视觉、嗅觉、触觉、听觉等感知信息,利用计算机视觉、语音识别、计算机控制、网络通信等技术

(一)人工智能技术开发平台

1. 平台概述

图片关键词人工智能技术开发平台,是综合人工智能技术、嵌入式接口技术、传感器采集控制技术、物联网通信技术的AI+IoT”智联网技术开发平台。平台面向物联网创新应用、端侧人工智能方向的教学、实训与创新应用。满足人工智能技术服务专业的教学、实验、智能产品应用开发的平台。平台基于视觉、嗅觉、触觉、听觉等感知信息,利用计算机视觉、语音识别、计算机控制、网络通信等技术,结合IOT 传感器及执行设备实现行业智慧化应用。

2. 平台组成

平台主要由硬件、软件、教学资源三部分组成。

1. 主要硬件组成:

l 智能边缘计算网关:高性能处理器四核 Cortex-A72 架构,板载WiFi、蓝牙通信模块,集成 Linux 操作系统,Python、机器学习、深度学习等运行环境。

l 物联网网关:高性感处理器四核,Cortex-A9 架构,7 寸电容触摸显示屏,具有丰富的外围接口,默认运行 Android 操作系统, 可一键切换 AndroidLinux 操作系统。集成 OpenCV、机器学习、百度在线语音库等环境。可运行接入 APP,连接云服务平台,实现远程采集控制。外围连接麦克风拾音器、扬声器。

l 感知终端设备:包含 IOT 传感器、IOT 执行器模块等,通过磁性吸合方式安装在实训平台上,可与智能边缘计算网关、物联网网关灵活组合,实现更多创意应用。

l FTable 实训平台:结构如图所示,符合人体工学设计,由可分


图片关键词离式基座和网板组成。基座开模设计,采用 ABS 材料,美观大方;具有 8 个大小不同的磁吸式固定插槽,每个插槽使用磁吸固定,安装有弹簧探针连接座,为各个硬件模块提供供电及RS232 RS485 信号传输;嵌入了微型示波器,可观察硬件模块关键点波形变化;具有金属自锁按钮开关,为整个平台提供稳定的电源;预留 3V5V12V 供电电源插孔,为扩展模块提供电源。具有 DB9 通信接口和通信模式切换开关,可实现硬件模块与 PC 端上位机应用软件的 RS232 RS485 通信。可分离式网板,能磁吸或螺丝固定商用设备,用于实验实训功能扩展。

2. 软件功能

l 人工智能教学平台:B/S 架构,提供Web 平台,打开浏览器, 即可开始人工智能知识点的学习。支持离线图片和在线视频两种图像获取方式,如图所示。

l
具备图像处理基础知识的验证学习功能,包含 OpenCV 库的加载,灰度化、二值化、边缘提取、膨胀与腐蚀、高斯滤波、小波变换、圆形检测、颜色识别、放大缩小等图像处理案例。

l 具备机器学习及模式识别验证学习的功能,如鸢尾花均值聚类、Adaboost 人脸检测、SVM 行人检测、目标跟踪等。

集成 TensorFlowCaffe 两大人工智能深度学习框架,提供基于开发框架的手写数字识别、车牌识别、人脸识别、物体  识别、手势识别等。平台提供了与实际生活紧密联系的应用案例,如口罩识别提醒实训案例、智慧停车实训案例、垃圾分类实训案例、指纹门禁控制实训案例等;可统计识别所需的时间、结果; 提供实验手册、实验代码在线阅读的功能,

l
具有Jupyter 在线开发功能,可进行代码编辑、算法验证,可直接输入垃圾分类代码验证,如图所示。

l 语音识别应用软件:采用第三方AI SDK,完成自然语言唤醒、语音合成、语义理解,实现聊天对话、百科问答等功能。同时, 与泛太云服务平台通信,与人工智能平台板载的网关进行绑定, 即可实现语音远程采集环境参数,语音控制设备。


3. 教学资源

语音识别小智机器人主界面


l 第一部分:基于人工智能教学平台,可开展图像处理、机器学习、深度学习方面的验证性实验,提供 python 语言的在线实验代码编辑、测试,提供实验手册;

l 第二部分:可开展Android 语言的图像处理、机器学习等人工智能基础实验,及基于第三方 AI SDK 的机器学习、深度学习实验手册、实验代码;

l 第三方:AI+IoT 结合,实现物联网终端设备感知层传感器的采集、执行器的控制、多传感器融合。

3. 功能特点

1. 支持人工智能和物联网课程,如图像处理、计算机视觉、机器学习、深度学习、Android 计算机视觉应用开发、传感器技术、物联网通信技术等。

2. 支持PythonAndroid 两种语言的人工智能技术开发。感知层

IOT 传感器及执行器的采集控制采用 C 语言开发, 基于Cortex-M3 内核。人工智能教学平台采用 Python 语言,基于OpenCV 机器视觉库、TensorFlow 深度学习框架、Caffe 深度学习框架。语音识别应用软件采用 Android 语音,调用第三方 AI SDK,通过 HTTP 协议接入与云平台,并与智能网关管理的 IOT 传感器、执行器绑定,实现语音识别、语义理解、语音采集传感器、语音控制执行器。

3. 支持 python 外设编程、通信编程、机器学习编程,如信号检测与执行器控制、python 的网络编程、机器学习课程教学、实验、实训。

4. 支持在线实验手册、实验代码、在线实验验证。将一次人工智能实验过程分解为实验手册浏览熟悉实验目的、实验原理、实验代码学习实验代码关键语句讲解、在线实验验证等 3 个过程。

5. 支持离线图片、在线视频两种处理方式。在线实验验证支持从电脑中任选图片,进行识别;也可调用摄像头,利用平台 AI 核心算法,对视频流进行识别。

6. 实验过程、识别耗时、识别结果以 LOG 信息、目标矩形框标注、或语音播放的形式进行展示

7. 能够实现数字图像处理功能,如灰度化、二值化、边缘检测、小波变换、形态学等

8. 能够实现多种识别,如颜色、形状等识别功能。

9. 能够实现人脸检测、行人检测、聚类分析等机器学习。Adaboost 人脸检测、行人检测、SVM 人脸检测、K-Means 鸢尾花聚类分析等;

图片关键词


检测 识别

10. 能够实现涂鸦猜游戏、文字识别、物体识别、垃圾分类等深度学习。基于caffetensorflow 框架实现深度学习,如图所示。


11. 支持物联网通信协议MQTTHTTP 实现人工智能与IOT 感知设备的连接。

12. 图片关键词支持第三方AI SDK 实现智能语音识别技术,如智能对话,问天气、讲故事、百科问答等,如语音查询环境参数,语音控制照明灯、语音控制风扇等。


13. 能实现人脸识别活体检测,人脸识别门锁控制功能。

4. 课程实验

课程类别

课程要求

1.人工智能基

课程内容

了解人工智能概念、发展历史、

2.Python 程序设计

课程目标

掌握 Python 基本编程方法

课程内容

基于人工智能开发套件完成Python 开发环境搭

建,基本语法的入门,通信编程开发等。

课程实验

实验 1:开发环境安装

实验 2:数据类型

实验 3:程序控制实验 4:函数类

实验 5:模块和标准库实验 6:文件和流

实验 7:数据库和网络编

实验 8:图形用户界面


3.机器学习基础- 图像处理实验

课程目标

理解图像处理算法的原理

掌握数字图像处理的常用方法

课程内容

基于人工智能开发套件完成图像处理视觉库的

安装、图像处理方法调用。

实验硬件

人工智能应用开发套件

课程实验

实验 1 Opencv 视觉库的安装配置

实验 2 图像灰度化

实验 3 归一化

实验 4 二值化

实验 5 图像滤波:高斯、中值

6 Sobel/Canny/hog

实验 7 形态学

实验 8 灰度直方图

实验 9 锐化

实验 10 钝化

实验 11 图像增强

课程实训

实验 1 颜色识别

了解颜色组成和表示方法;

使用 Opencv 库识别颜

色,并播报。

实验 2 简单图形形状识别

了解霍夫变换的原理; 涉及图像灰度化、归一化、滤波、边缘检测等知识点;

使用 Opencv 库识别圆

形、矩形,并播报。

4.机器学习应用实验课

课程目标

1. 了解机器学习的分类:无监督、有监督

2. 了解数据集的原理、作用、存储格式

3. 了解至少一种聚类算法如 K-Means 的原理: 欧式距离、余弦距离曼哈顿距离计算方法; 4.了解至少一种机器学习算法如 Adaboost、SVM、决策树等的原理:分类器的流程;

5. 掌握聚类算法、分类器算法的调用方法

6. 掌握分类器的检测分类效果

7. 掌握根据分类效果,进行智能控制

8. 通过增减数据集,掌握算法训练的全过程

课程内容

能够使用机器学习的算法,实现聚类、分类、

以及能够结合声、光、电设备实现关联控制

课程实验

实验 1 鸢尾花聚类

播报

实验 3 人脸检测控制实




实验 2 脸部数据集分析显示

实验 4 行人检测控制实验

实验 5 目标跟踪实验

5.深度学习应用实验课

课程目标

1. 了解深度学习的定义,与机器学习的区别

2. 了解数据集的原理、作用,以及格式

2. 了解至少一种深度学习算法的理论:如 CNNRNN、BP 神经网络

3. 掌握至少一种深度学习框架的使用方法:如Caffe、TensorFlow

4. 掌握使用深度学习方法实现识别的方法

5. 掌握根据识别结果,进行智能控制,如语音播报识别到的数字,语音播报识别到的物体名称,控制声、光、电执行部件。

6. 通过增加数据集,掌握算法训练的全过程。

课程内容

能够使用深度学习的方法,实现数字、物体识

别,使人工智能与物联网感控设备联动

课程实验

实验 1 手写数字识别

实验 2 涂鸦猜游戏

实验 3 物体识别

实验 4 垃圾分类

实验 5 车牌识别

6.自然语言应用开发实验课

课程目标

掌握使用人工智能平台 SDK 完成语音识别技能

课程内容

1) 通过输入的语音进行识别,能够支持整段音频进行识别以及流式语音识别。

2) 整段文字识别,在用户录入整段音频后,能够将返回语音的文字内容。

3) 流式识别可以实现边录音边识别,并能在录

入过程中将识别的内容同步显示出来。

课程实验

实验 1 语音唤醒

实验 2 语音合成

实验 3 语义理解

实验 4 文字识别

8.Android 技术应用

课程目标

掌握 Android 物联网应用开发方法

课程内容

1. 网关接入云平台配

2. ModbusRTU 通信协议的解析

3. 平台 JSON 数据包重

4. MQTT 协议分析与测

5. HTTP 协议分析与测



关联内容

首页
方案
新闻
我们