使用unity3d和tensorflow实现基于姿态估计的体感游戏

时间:2022-05-11 19:12:50

使用unity3d和tensorflow实现基于姿态估计的体感游戏

前言

之前做姿态识别,梦想着以后可以自己做出一款体感游戏,然而后来才发现too young。但是梦想还是要有的,万一实现了呢。趁着paper发出去的这几天,做一个toy demo。研究了一下如何将姿态估计的结果应用于unity,参考了很多资料,最终决定使用UDP协议,让unity脚本接收python脚本的数据(关节点坐标),来达到控制object的目的,由于刚接触unity时间不长(c#也是刚接触的),所以肯定有很多不足,欢迎交流。demo的代码和模型地址https://github.com/bBobxx/MyPoseWithUnity3d

python脚本

Recognition.py,需要安装tensorflow和opencv-python

python脚本这边就是普通的姿态估计的tensorflow程序,只不过要调用socket包,用来发送数据。这边我设定的是

UDP_IP = "127.0.0.1"
UDP_PORT = 5065 sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)

端口可以更改,只要确定没占用就行。

后面的dataProcess函数是将图片处理成我的网络的输入,这边的姿态估计算法是我论文中的网络,识别率不是很高,但是凑活,相比于那些识别率很高的,速度也快点,在笔记本的cpu上能达到3FPS左右,勉强能用,我这边的模型使用的是cpu,gpu能不能用没测试过,当然这里完全可以换成别的姿态识别模型,最重要的地方是

string_send = 'st,'
for w in range(nr_joint):
string_send += str(x_c[w])+','+str(y_c[w])+','
string_send += 'end'
sock.sendto( string_send.encode(), (UDP_IP, UDP_PORT) )

一定要将数字转换成字符串,并且encode(),当然这里加不加开头和结尾没那么重要,但是加上可以在unity那边判断一下。

c sharp脚本

playerControllerScript.cs, move.cs前者放在Sphere上,后者放在Cube上。

在unity那边首先要建立关节点代表的sphere,我这边是这样设置的,注意sphere的层次关系和名字一定要跟我一样:

使用unity3d和tensorflow实现基于姿态估计的体感游戏

cube是为了玩加上去的,可以不用这些。看一下c#这边的接受函数

	private void ReceiveData()
{
client = new UdpClient (port);
while (true)
{
try
{
IPEndPoint anyIP = new IPEndPoint(IPAddress.Parse("0.0.0.0"), port);
byte[] data = client.Receive(ref anyIP);
string text = Encoding.UTF8.GetString(data); //这边记得在解码,port是之前python脚本的端口
string[] strArray = text.Split(',');
int[] coord1 = new int[32];
for (int i = 1; i<strArray.Length-1;++i) {
int x = Int32.Parse(strArray[i]);
coord1[i-1] = x;
}
if (updateCoord) {
coord = coord1;
updateCoord = false;
}
} catch(Exception e)
{
print (e.ToString());
}
}
}

这部分的代码主要参考的这篇博客https://www.raywenderlich.com/5475-introduction-to-using-opencv-with-unity

然后将姿态估计的结果应用到每个小球上就可以了,这里我的demo中将小球和方块添加了刚体和碰撞属性,这部分如果不清楚就去查资料吧,我也是刚入门,就不误导了。这是update函数中干的事情:

	void Update ()
{
if (!updateCoord){
for (int i=0; i<16;i++) {
string obj = "Sphere (" + Convert.ToString(i+1)+")";
GameObject spherei = sphere.transform.Find(obj).gameObject;
if (coord[2*i] >0 && coord[2*i+1]>0) {
int x = coord[2*i]-320;
int y = coord[2*i+1]-240;
spherei.transform.position = new Vector3(x, y, 0.0f);
}
else
spherei.transform.position = new Vector3(-1000.0f, -1000.0f, 0.0f); updateCoord = true;
}
}
}

我的笔记本的相机拍出的图片大小是640*480的,所以上面将x,y坐标减了一半,这里可能需要改,或者直接不减也可以。这里的z坐标是0,是因为这是2d姿态估计,3d的以后如果有结果再实现。

效果图

使用unity3d和tensorflow实现基于姿态估计的体感游戏

小球太大的结果QAQ,所以有重叠,真人的话就好点了。编译了一个64位linux的执行文件,链接:[https://pan.baidu.com/s/19P5ebRN7dUXNcN2n7EQLXQ] (https://pan.baidu.com/s/19P5ebRN7dUXNcN2n7EQLXQ) 提取码: ju73。