VR运动头盔实时同步,360°全景视频回传,这只扫地狗是如此“不安分”!

 

DF创客社区大咖Rubin Huang,带你进入360°无死角的沉浸式网真体验!...

欢迎来到服“造”的世界
随着消费级机器人的不断普及

懒惰的人类经过实践的检验

挖掘到了扫地机器人更多的“潜能”
比如这样 ↓↓↓
不仅把活干完,还能帮你带娃
主人不在家,宠物新玩伴
当然作为创客,除了探索以上“新功能”

是否还存在其他更加高级的玩法?
每到这种需要深刻思考的关键时刻
总有社区大神要放大招


扫地狗当然不只是用来带娃逗宠

还能打造超高性价比的网真机器人
* PS : 本文经项目原作者Rubin Huang同意后发表

下拉至文末点击“阅读原文”可查看完整制作教程
【Teleroomba操控篇】VR头盔实时同步,360°全景视频回传

极客打造沉浸式网真体验!
DF创客社区大咖Rubin Huang
利用Lattepanda开发板将Roomba改装
开发出超高性价比的网真体验机器人
——Teleroomba ——
点击边框调出视频工具条

Teleroomba不仅能进行卫生打扫
还能让我们的动作语言呈现在网真互动之中
进行多媒体分享
点击边框调出视频工具条

Teleroomba操作视频
你可以通过游戏手柄
控制机器人的运动,运行速度,摄像头角度
没有游戏手柄的情况下
通过鼠标拖拽实现机器人向各个方向的运行
如果你有适于手机的VR头盔
头盔的朝向可以被直接传递给摄像头
与用户脸部方向同步
最重要的功能:360°实时全景视频回传
在网真机器人行驶的同时
能够进入球形视角
看到360°全景实时图像的每一个角落
【Teleroomba教程篇】

如何在预算有限的情况下制造机器人?

改装扫地狗!


 1. 选择合适的设备及开发平台 
一方面,扫地狗制造商iRobot
提供了一个叫做“create”系列的扫地狗
它允许对其串口发送指令以控制其行为
并得到机器人自带传感器的数据
另一方面,LattePanda这块微型电脑开发板
自带Wifi和蓝牙,可以运行Linux或Windows10
整合Arduino用于数字、模拟电路控制
并通过串口通讯和主体进行连接
 一句话:这简直是件神器
*PS:登陆DFRobot商城(www.dfrobot.com.cn)
可查看产品详情页
  2.机器人结构设计与加工  
显然扫地狗和网真机器人的身高差太远
必须以扫地狗为底层基础结构
在此之上设计一个支架系统固定设备
机器人结构设计手稿
三维打印明显难以满足体量偏大的组件加工

因此使用了以有机玻璃结合单脚架的结构

这样机器人的高度可灵活调节
结构配件设计图纸
因为进行视频通话时处理器升温明显

长时间的高温必然影响处理器寿命

需要安装一个热沉导体

再通过一个微型风扇将其中的热空气吹走
热沉系统组装

微电脑组件加装到主体结构
越来越多的设备添加到LattePanda上
跳线和数据线数量急剧上升
因此我设计了一个简单的PCB
针脚可以直接插入LattePanda上的Arduino
管理GPIO到扫地狗Mini DIN串口的跳线
自定义PCB管理错综复杂的跳线
扫地狗的串口采用七针Mini DIN

可从亚马逊上上购买

并根据需要焊上跳线

另一段则根据PCB制作自定义接口
制作MiniDIN数据线
在为机器人接入360°相机同时

我也加装了一个方便于遥控驾驶的2D相机

蓝牙音箱则安装在2D相机的反方向

与LattePanda通过蓝牙无线连接
.安装其他部分:相机,扬声器,显示屏
Teleroomba上通过GoPro配件

将迷你触摸屏固定在了单脚架结构上

机器人的最顶端

安装有NeoPixel 环状LED指示器

及ThetaS 360°全景相机
机器人顶端设备
  3. 开发软件控制系统  
下图概括了一下软件系统的分布
Teleroomba的软件结构比较复杂
概括来讲包含控制界面,嵌入式部分的代码以及用于网络连接的服务器代码三个部分
控制者端,支持用户界面以及连接输入设备,如操纵杆,VR头盔,采集数据并转化为遥控数据。

(node.js)

机器人端,支持控制器与扫地狗的串口通信,文件系统,控制伺服电机以及控制LED指示器。

(Node.js/Bash/C/Arduino)

网络连接/服务器,路由,伺服用户界面,建立WebRTC连接以及其他TCP通道。

(Front-endJavaScript/Node.js)

视频通话使用了Google的WebRTC技术,技术特点是能够同时收发低延迟视频、音频媒体流和数据流,即进行视频通话时同步发送控制数据。用户界面显示全部为运行在Chrome浏览器中的网页应用。
  4. 其他说明  
用户界面:专注于驾驶
我将Teleroomba的功能进行整理
并安排于这个可折叠的侧栏之中
这允许我全屏显示机器人相机回传图像

用户界面
还有个专门为调试设计的状态显示工具
以颜色区分具体信息
方便快速定位系统问题
调试工具
LED 行进方向指示器
顶部安装了一个环状的NeoPixel
来显示当前的行进状态
LED 行进方向指示器
最后给大家总结了
一份制作整个机器人的用料清单
总体开销大约在700美元左右
除了一些自定义的组件
大部分组件采购于于亚马逊
总体开发时间算下来大概是6个月
关于项目作者—Rubin Huang
Rubin Huang,本科毕业于北京航空航天大学新媒体艺术与设计学院,插画艺术专业。后于2014年赴纽约大学人机交互专业(Interactive Telecommunication Program)获得硕士学位并留校一年任研究员,现为互无线互联网技术公司Ubiquiti Networks产品经理。

到这里开发Teleroomba的故事差不多就结束了,你对这只“不安分”的扫地狗感兴趣吗?欢迎到社区一起交流!

查看更多使用DFRobot的项目可访问Rubin个人主页:http://rubinhuang.com

NYU ITP 作品推荐阅读:

智能穿戴时尚圈 | 新锐女创客一出马,你们这些工科男都弱爆了!

手相之诗 | 科技进步是否真正削弱了人类传统文化中的迷信与敬畏?

*欢迎转发朋友圈。如需转载,请注明出处和原作者。
项目干货戳这里

2017年度编辑选择奖 上篇

2017年度编辑选择奖 下篇

DIY树莓派游戏机 | 蓝牙音乐频谱播放器

IMA期末作业展 | 波士顿动力机器人最新视频

Micro:bit圣诞项目合辑 | DIY迷你装载机 | Sparrow

物联网项目精选 | 最美程序媛重返维密秀 | 手相之诗

3D打印履带车 | wifi 气象站 | 极简感应灯 | lululu时钟鹿

3D打印私有云机箱 |智能家居——Siri语音控制旋转灯

音乐打击垫Launchpad | 新加坡ITE学生作品特辑



点击“阅读原文”,查看Teleroomba完整制作教程!


    关注 DFRobot创客社区


微信扫一扫关注公众号

0 个评论

要回复文章请先登录注册