【AR实验室】ARToolKit之制作自己的Marker/NFT

时间:2021-09-11 10:10:52

0x00 - 前言


看过example后,就会想自己动动手,这里改改那里修修。我们先试着添加自己喜欢的marker/nft进行识别。

比如我做了一个法拉利的marker:

【AR实验室】ARToolKit之制作自己的Marker/NFT

还有网上找了一个法拉利logo的图片用于NFT(Natural Feature Tracking):

【AR实验室】ARToolKit之制作自己的Marker/NFT

对应显示的模型是这样的(仅供参考^_^!)

【AR实验室】ARToolKit之制作自己的Marker/NFT

0x01 - marker制作流程


1.制作marker图片

首先我们找到doc/patterns/Blank pattern.png,使用这个空白的marker图片制作出自己想要的marker。之所以使用这个blank pattern,是因为这个空白marker图片的符合marker的基本要求:

  • 必须是方形。
  • 必须有连续的边缘(一般来说全是白色或黑色)。另外在marker里面的pattern部分,我们使用差别较大的两种颜色分别表示前后景(比如此处我用黑色表示法拉利logo,白色作为其背景)。默认情况下,边缘的厚度占pattern图片的1/4。

- 被边缘所包围的部分就是我们所称的pattern,其必须具有旋转不对称性。pattern可以是黑白的,也可以是彩色的。

我们将法拉利的logo弄成黑白的,再添加到blank pattern中。得到以下maker:

【AR实验室】ARToolKit之制作自己的Marker/NFT

2.训练marker图片

我们使用这个在线工具"Tarotaro"进行训练(如果想离线训练,可以使用ARToolKit提供的mk_patt的离线工具)。

a.打开Tarotaro网站并点击下面红框链接。

【AR实验室】ARToolKit之制作自己的Marker/NFT

b.会打开如下的工具。这时将你需要训练的marker放入摄像头视野中,直到marker边缘出现红色边框。

界面介绍:

Mode Select:有Camera Mode和Load marker image两种方式。我们下面使用的就是Camera Mode方式。Load marker image是直接输入本地的marker图片进行训练。

    Marker SegmentsMarker Size我还不是很清楚是什么。我们这选择默认参数即可。

【AR实验室】ARToolKit之制作自己的Marker/NFT

c.当marker边缘出现红色边框后,我们点击Get Pattern按钮,就可以得到下图,我们可以看到marker边框变成绿色了,此时我们选择Save Current按钮就可以得到对应的pattern文件,此处将其命名为ferrari.patt(初始后缀是pat,可以自己修改为patt)。

【AR实验室】ARToolKit之制作自己的Marker/NFT

3.修改配置文件

我们选择example中的ARApp2的配置文件进行更改。主要是更改models.dat和markers.dat文件。

我们先将ferrari.patt文件和网上搜罗来的ferrari模型文件导入到ARApp2中。

【AR实验室】ARToolKit之制作自己的Marker/NFT【AR实验室】ARToolKit之制作自己的Marker/NFT

在markers.dat添加

【AR实验室】ARToolKit之制作自己的Marker/NFT

在model.dat添加

【AR实验室】ARToolKit之制作自己的Marker/NFT

4.编译运行

配置文件修改完成后,我们就可以编译运行了。请看结果:

【AR实验室】ARToolKit之制作自己的Marker/NFT 【AR实验室】ARToolKit之制作自己的Marker/NFT

0x02 - NFT制作流程


1.选择图片

NFT其实就是提取图片的Natural Feature(自然特征)然后进行跟踪。ARToolKit中会先对图片进行处理,得到一组数据,后续追踪过程使用的其实是处理得到的数据集。并不是什么图片都可以进行NFT,对于进行NFT的图片,有以下一些要求:

  • 追踪的图片必须是矩形图片。
  • 图片必须是jpeg格式。(大部分商用AR SDK支持多种图片格式,比如EasyAR)
  • 图片本身要有足够多的细节和边缘(自相似度较低,并且空间频率较高)。如果图片带有大量模糊或者细节较少的色块,追踪效果会比较差。
  • 图片分辨率的提升会使ARToolKit提取出更多的特征点,这对于相机接近图片的情况或者使用高精度相机的情况,会大大提升追踪效果。

所以我选择下面这张图片做NFT:

【AR实验室】ARToolKit之制作自己的Marker/NFT

2.提取图片特征

【AR实验室】ARToolKit之制作自己的Marker/NFT

利用genTexData来生成对应的追踪数据

【AR实验室】ARToolKit之制作自己的Marker/NFT

选择提取图片特征的程度,数值越大提取的特征越多。当相机离图片越近的时候,追踪效果会越好。此处使用默认值。

【AR实验室】ARToolKit之制作自己的Marker/NFT

使用Photoshop查看该图片:

【AR实验室】ARToolKit之制作自己的Marker/NFT

发现其分辨率是72,所以Enter resolution to use这部分输入72。

而最大最小分辨率范围,根据Training ARToolKit Natural Feature Tracking (NFT) to Recognize and Track an Image文章中提到的,根据不同相机分辨率及相机远近有不同取值,一般使用20~120最为合适。而我们这边最大分辨率只有72,所以我选择20~72。

【AR实验室】ARToolKit之制作自己的Marker/NFT

得到image set(ferrari-nft.iset)和featureList(ferrari.fset&ferrari.fset3)两组数据

【AR实验室】ARToolKit之制作自己的Marker/NFT

【AR实验室】ARToolKit之制作自己的Marker/NFT

我们使用dispFeatureSet工具可以显示一下看看特征点提取情况:

【AR实验室】ARToolKit之制作自己的Marker/NFT

【AR实验室】ARToolKit之制作自己的Marker/NFT

3.修改配置文件

我们修改ARAppNFT的配置文件来试验我们的成果。

首先添加对应训练数据:

【AR实验室】ARToolKit之制作自己的Marker/NFT

修改markers.dat

【AR实验室】ARToolKit之制作自己的Marker/NFT

和上面marker图片训练一样,添加法拉利模型,并在models.dat中添加法拉利模型显示信息:

【AR实验室】ARToolKit之制作自己的Marker/NFT

4.编译运行

【AR实验室】ARToolKit之制作自己的Marker/NFT

0x03 - 参考资料