灵感来源于《白雪公主》里皇后的魔镜,然后就想给对象做一个。
“魔镜”智能家居系统(我的毕设)
目录
- 介绍
- 大致思路
- 系统架构
- 结语
介绍
灵感来源于《白雪公主》里皇后的魔镜,然后就想给对象做一个。
如果只做对话未免有些单调,所以想增加一些功能,包括:控制智能家居、获取温湿度、显示天气信息、节假日信息、最近的新闻、基于情绪识别进行对话。
大致思路
参考MagicMirror,使用单向镜+显示屏+木框作为主体,配合其他的硬件
首先是智能对话,流程就是语音唤醒–>语音录制–>语音识别–>智能对话–>语音合成–>播放
语音唤醒:离线语音唤醒,可以使用开源的Snowboy
语音录制:使用SpeechRcognition,自动结束录音
语音识别:使用百度的语音API
智能对话:这部分的对话处理在后端处理
语音合成:也是使用百度的语音API
播放:使用PyGame播放合成的语音
之后是控制智能家居,有个开源的Home Assistant可以直接拿来用
然后是温湿度信息,这块使用DHT11这个温湿度传感器获取,传感器可以与树莓派串口进行连接,获取到温湿度信息
接下来是天气信息,中国天气网有前端插件,直接生成改改拿来用就可以
还有节假日信息和最近的新闻,这两个放在后端
最后是情绪识别,树莓派用OpenCV进行拍照判断是否有人然后进行情绪识别,情绪识别做成个服务放到云上
系统架构
系统代码分为五套
首先是树莓派端的,用python编写,包块四大模块:1.智能对话、2.情绪识别、3.环境数据、4.视图,每个模块独占一个进程
之后是后端,用SpringCloud作为架构,分为五个服务:1、服务注册发现配置、2.权限、3.网关、4.基础服务、5.环境数据
然后是情绪识别端,用python编写,接收图片识别情绪,使用PigX快速开发框架
接下来是用户显示端,就是在镜子后面显示屏显示的,基于Vue
最后是管理端,基于Vue,使用Avue框架,使用PigX快速开发框架
部署包括树莓派端、后端、显示端、管理端、情绪识别服务、HBase集群这几个端
结语
由于系统过于庞大,会分为多个博客慢慢讲,先列一下需要讲哪些(智能对话包含过多可能会再次细分):
智能对话(Snowboy离线唤醒、SpeechRcognition录音、百度语音识别和合成、对话、PyGame播放)
Phoenix、Hbase的使用
此为博主副博客,留言请去主博客,转载请注明出处:https://www.baby7blog.com/myBlog/70.html