这个其实就是从****上面下载的一个例程。感谢这位同学的总结,与源码的有偿分享。
本随笔就是把它通过4个随笔的拆分,实现的。
可以通过:
http://blog.****.net/masibuaa/article/details/9246493这个地方自己反推,因为原博客是通过qt实现的,并且并没有共享全部的代码,所以不是很好理解。
学习还是要所见即所得才行。
所以我又去下载了一个在vs2010平台上面能跑的程序。
然后在vs2015的上面实现了。
接下来就可以踏实一阵儿了。
main.cpp:
#include <iostream>//这个位置 貌似没那么严格
#include "opencv2/highgui/highgui.hpp"//这个是基本类库,高级图形用户接口,必须要引入
#include "opencv2/core/core.hpp"
#include <imgproc\imgproc_c.h> extern "C"
{
#include "imgfeatures.h"
#include "kdtree.h"
#include "minpq.h"
#include "sift.h"
#include "utils.h"
#include "xform.h"
} //在k-d树上进行BBF搜索的最大次数
/* the maximum number of keypoint NN candidates to check during BBF search */
#define KDTREE_BBF_MAX_NN_CHKS 200 //目标点与最近邻和次近邻的距离的比值的阈值,若大于此阈值,则剔除此匹配点对
//通常此值取0.6,值越小找到的匹配点对越精确,但匹配数目越少
/* threshold on squared ratio of distances between NN and 2nd NN */
//#define NN_SQ_DIST_RATIO_THR 0.49
#define NN_SQ_DIST_RATIO_THR 0.5 using namespace std;
using namespace cv; //计算图2的四个角经矩阵H变换后的坐标
void CalcFourCorner(CvMat* &H, CvPoint& leftTop, CvPoint& leftBottom, CvPoint& rightTop, CvPoint& rightBottom, IplImage* img2)
{
//计算图2的四个角经矩阵H变换后的坐标
double v2[] = { , , };//左上角
double v1[];//变换后的坐标值
CvMat V2 = cvMat(, , CV_64FC1, v2);
CvMat V1 = cvMat(, , CV_64FC1, v1);
cvGEMM(H, &V2, , , , &V1);//矩阵乘法
leftTop.x = cvRound(v1[] / v1[]);
leftTop.y = cvRound(v1[] / v1[]);
//cvCircle(xformed,leftTop,7,CV_RGB(255,0,0),2); //将v2中数据设为左下角坐标
v2[] = ;
v2[] = img2->height;
V2 = cvMat(, , CV_64FC1, v2);
V1 = cvMat(, , CV_64FC1, v1);
cvGEMM(H, &V2, , , , &V1);
leftBottom.x = cvRound(v1[] / v1[]);
leftBottom.y = cvRound(v1[] / v1[]);
//cvCircle(xformed,leftBottom,7,CV_RGB(255,0,0),2); //将v2中数据设为右上角坐标
v2[] = img2->width;
v2[] = ;
V2 = cvMat(, , CV_64FC1, v2);
V1 = cvMat(, , CV_64FC1, v1);
cvGEMM(H, &V2, , , , &V1);
rightTop.x = cvRound(v1[] / v1[]);
rightTop.y = cvRound(v1[] / v1[]);
//cvCircle(xformed,rightTop,7,CV_RGB(255,0,0),2); //将v2中数据设为右下角坐标
v2[] = img2->width;
v2[] = img2->height;
V2 = cvMat(, , CV_64FC1, v2);
V1 = cvMat(, , CV_64FC1, v1);
cvGEMM(H, &V2, , , , &V1);
rightBottom.x = cvRound(v1[] / v1[]);
rightBottom.y = cvRound(v1[] / v1[]);
//cvCircle(xformed,rightBottom,7,CV_RGB(255,0,0),2); } int detectionFeature(IplImage* img, struct feature*& feat)
{
int n = sift_features(img, &feat);//检测图img中的SIFT特征点,n是图的特征点个数
//export_features("feature.txt",feat,n);//将特征向量数据写入到文件
return n;
}
IplImage* spliceImage(IplImage* img1, IplImage* img2)
{
struct feature *feat1, *feat2;//feat1:图1的特征点数组,feat2:图2的特征点数组
int n1, n2;//n1:图1中的特征点个数,n2:图2中的特征点个数
struct feature *feat;//每个特征点
struct kd_node *kd_root;//k-d树的树根
struct feature **nbrs;//当前特征点的最近邻点数组
CvMat * H = NULL;//RANSAC算法求出的变换矩阵
struct feature **inliers;//精RANSAC筛选后的内点数组
int n_inliers;//经RANSAC算法筛选后的内点个数,即feat2中具有符合要求的特征点的个数 IplImage *xformed = NULL, *xformed_proc = NULL;//xformed临时拼接图,即只将图2变换后的图,xformed_proc是最终合成的图 //图2的四个角经矩阵H变换后的坐标
CvPoint leftTop, leftBottom, rightTop, rightBottom;
/////////////////////////////////////////////////////////////////// //特征点检测
n1 = detectionFeature(img1, feat1);//检测图1中的SIFT特征点,n1是图1的特征点个数
//提取并显示第2幅图片上的特征点
n2 = detectionFeature(img2, feat2);//检测图2中的SIFT特征点,n2是图2的特征点个数 //特征匹配
//方式一:水平排列
//将2幅图片合成1幅图片,img1在左,img2在右
//stacked = stack_imgs_horizontal(img1, img2);//合成图像,显示经距离比值法筛选后的匹配结果
//根据图1的特征点集feat1建立k-d树,返回k-d树根给kd_root
kd_root = kdtree_build(feat1, n1);
CvPoint pt1, pt2;//连线的两个端点
double d0, d1;//feat2中每个特征点到最近邻和次近邻的距离
int matchNum = ;//经距离比值法筛选后的匹配点对的个数
//遍历特征点集feat2,针对feat2中每个特征点feat,选取符合距离比值条件的匹配点,放到feat的fwd_match域中
for (int i = ; i < n2; i++)
{
feat = feat2 + i;//第i个特征点的指针
//在kd_root中搜索目标点feat的2个最近邻点,存放在nbrs中,返回实际找到的近邻点个数
int k = kdtree_bbf_knn(kd_root, feat, , &nbrs, KDTREE_BBF_MAX_NN_CHKS);
if (k == )
{
d0 = descr_dist_sq(feat, nbrs[]);//feat与最近邻点的距离的平方
d1 = descr_dist_sq(feat, nbrs[]);//feat与次近邻点的距离的平方
//若d0和d1的比值小于阈值NN_SQ_DIST_RATIO_THR,则接受此匹配,否则剔除
if (d0 < d1 * NN_SQ_DIST_RATIO_THR)
{ //将目标点feat和最近邻点作为匹配点对
pt2.x = cvRound(feat->x); pt2.y = cvRound(feat->y);
pt1.x = cvRound(nbrs[]->x); pt1.y = cvRound(nbrs[]->y);
pt2.x += img1->width;//由于两幅图是左右排列的,pt2的横坐标加上图1的宽度,作为连线的终点
//cvLine( stacked, pt1, pt2, CV_RGB(255,0,255), 1, 8, 0 );//画出连线
matchNum++;//统计匹配点对的个数
feat2[i].fwd_match = nbrs[];//使点feat的fwd_match域指向其对应的匹配点
}
}
free(nbrs);//释放近邻数组
}
//利用RANSAC算法筛选匹配点,计算变换矩阵H,
//无论img1和img2的左右顺序,H永远是将feat2中的特征点变换为其匹配点,即将img2中的点变换为img1中的对应点
H = ransac_xform(feat2, n2, FEATURE_FWD_MATCH, lsq_homog, , 0.01, homog_xfer_err, 3.0, &inliers, &n_inliers); //若能成功计算出变换矩阵,即两幅图中有共同区域
IplImage* stacked_ransac; ///stacked_ransac = stack_imgs(img1, img2);
stacked_ransac = stack_imgs_horizontal(img1, img2); if (H)
{
int invertNum = ;//统计pt2.x > pt1.x的匹配点对的个数,来判断img1中是否右图 //遍历经RANSAC算法筛选后的特征点集合inliers,找到每个特征点的匹配点,画出连线
for (int i = ; i<n_inliers; i++)
{
feat = inliers[i];//第i个特征点
pt2 = cvPoint(cvRound(feat->x), cvRound(feat->y));//图2中点的坐标
pt1 = cvPoint(cvRound(feat->fwd_match->x), cvRound(feat->fwd_match->y));//图1中点的坐标(feat的匹配点) //统计匹配点的左右位置关系,来判断图1和图2的左右位置关系
if (pt2.x > pt1.x)
invertNum++; // pt2.y += img1->height;//由于两幅图是左右排列的,pt2的横坐标加上图1的宽度,作为连线的终点
pt2.x += img1->width;//由于两幅图是左右排列的,pt2的横坐标加上图1的宽度,作为连线的终点
cvLine(stacked_ransac, pt1, pt2, CV_RGB(, , ), , , );//在匹配图上画出连线
}
cvNamedWindow("IMG_MATCH2");//创建窗口
cvShowImage("IMG_MATCH2", stacked_ransac);//显示经RANSAC算法筛选后的匹配图
} if (H)
{
//全景拼接
//若能成功计算出变换矩阵,即两幅图中有共同区域,才可以进行全景拼接
//拼接图像,img1是左图,img2是右图
CalcFourCorner(H, leftTop, leftBottom, rightTop, rightBottom, img2);//计算图2的四个角经变换后的坐标
//为拼接结果图xformed分配空间,高度为图1图2高度的较小者,根据图2右上角和右下角变换后的点的位置决定拼接图的宽度
xformed = cvCreateImage(cvSize(MIN(rightTop.x, rightBottom.x), MIN(img1->height, img2->height)), IPL_DEPTH_8U, );
//用变换矩阵H对右图img2做投影变换(变换后会有坐标右移),结果放到xformed中
cvWarpPerspective(img2, xformed, H, CV_INTER_LINEAR + CV_WARP_FILL_OUTLIERS, cvScalarAll()); //处理后的拼接图,克隆自xformed
xformed_proc = cvCloneImage(xformed); //重叠区域左边的部分完全取自图1
cvSetImageROI(img1, cvRect(, , MIN(leftTop.x, leftBottom.x), xformed_proc->height));
cvSetImageROI(xformed, cvRect(, , MIN(leftTop.x, leftBottom.x), xformed_proc->height));
cvSetImageROI(xformed_proc, cvRect(, , MIN(leftTop.x, leftBottom.x), xformed_proc->height));
cvAddWeighted(img1, , xformed, , , xformed_proc);
cvResetImageROI(img1);
cvResetImageROI(xformed);
cvResetImageROI(xformed_proc); ////////////////////////////////////////////////////////////
//图像融合
//采用加权平均的方法融合重叠区域
int start = MIN(leftTop.x, leftBottom.x);//开始位置,即重叠区域的左边界
double processWidth = img1->width - start;//重叠区域的宽度
double alpha = ;//img1中像素的权重
for (int i = ; i<xformed_proc->height; i++)//遍历行
{
const uchar * pixel_img1 = ((uchar *)(img1->imageData + img1->widthStep * i));//img1中第i行数据的指针
const uchar * pixel_xformed = ((uchar *)(xformed->imageData + xformed->widthStep * i));//xformed中第i行数据的指针
uchar * pixel_xformed_proc = ((uchar *)(xformed_proc->imageData + xformed_proc->widthStep * i));//xformed_proc中第i行数据的指针
for (int j = start; j<img1->width; j++)//遍历重叠区域的列
{
//如果遇到图像xformed中无像素的黑点,则完全拷贝图1中的数据
if (pixel_xformed[j * ] < && pixel_xformed[j * + ] < && pixel_xformed[j * + ] < )
{
alpha = ;
}
else
{ //img1中像素的权重,与当前处理点距重叠区域左边界的距离成正比
alpha = (processWidth - (j - start)) / processWidth;
}
pixel_xformed_proc[j * ] = pixel_img1[j * ] * alpha + pixel_xformed[j * ] * ( - alpha);//B通道
pixel_xformed_proc[j * + ] = pixel_img1[j * + ] * alpha + pixel_xformed[j * + ] * ( - alpha);//G通道
pixel_xformed_proc[j * + ] = pixel_img1[j * + ] * alpha + pixel_xformed[j * + ] * ( - alpha);//R通道
}
} }
else //无法计算出变换矩阵,即两幅图中没有重合区域
{
return NULL;
}
///////////////////////////////////////////////////////////////////////////
kdtree_release(kd_root);//释放kd树
//只有在RANSAC算法成功算出变换矩阵时,才需要进一步释放下面的内存空间
if (H)
{
cvReleaseMat(&H);//释放变换矩阵H
free(inliers);//释放内点数组
}
if (NULL != xformed)
{
cvReleaseImage(&xformed);
}
return xformed_proc;
} void match(IplImage *img1, IplImage *img2)
{
IplImage *img1_Feat = cvCloneImage(img1);//复制图1,深拷贝,用来画特征点
IplImage *img2_Feat = cvCloneImage(img2);//复制图2,深拷贝,用来画特征点 struct feature *feat1, *feat2;//feat1:图1的特征点数组,feat2:图2的特征点数组
int n1, n2;//n1:图1中的特征点个数,n2:图2中的特征点个数
struct feature *feat;//每个特征点
struct kd_node *kd_root;//k-d树的树根
struct feature **nbrs;//当前特征点的最近邻点数组
int matchNum;//经距离比值法筛选后的匹配点对的个数
struct feature **inliers;//精RANSAC筛选后的内点数组
int n_inliers;//经RANSAC算法筛选后的内点个数,即feat1中具有符合要求的特征点的个数 //默认提取的是LOWE格式的SIFT特征点
//提取并显示第1幅图片上的特征点
n1 = sift_features(img1, &feat1);//检测图1中的SIFT特征点,n1是图1的特征点个数
export_features("feature1.txt", feat1, n1);//将特征向量数据写入到文件
draw_features(img1_Feat, feat1, n1);//画出特征点
cvShowImage("img1_Feat", img1_Feat);//显示 //提取并显示第2幅图片上的特征点
n2 = sift_features(img2, &feat2);//检测图2中的SIFT特征点,n2是图2的特征点个数
export_features("feature2.txt", feat2, n2);//将特征向量数据写入到文件
draw_features(img2_Feat, feat2, n2);//画出特征点
cvShowImage("img2_Feat", img2_Feat);//显示 Point pt1, pt2;//连线的两个端点
double d0, d1;//feat1中每个特征点到最近邻和次近邻的距离
matchNum = ;//经距离比值法筛选后的匹配点对的个数 IplImage* stacked;
IplImage* stacked_ransac;
//将2幅图片合成1幅图片,上下排列
stacked = stack_imgs(img1, img2);//合成图像,显示经距离比值法筛选后的匹配结果
stacked_ransac = stack_imgs(img1, img2);//合成图像,显示经RANSAC算法筛选后的匹配结果 //根据图2的特征点集feat2建立k-d树,返回k-d树根给kd_root
kd_root = kdtree_build(feat2, n2); //遍历特征点集feat1,针对feat1中每个特征点feat,选取符合距离比值条件的匹配点,放到feat的fwd_match域中
for (int i = ; i < n1; i++)
{
feat = feat1 + i;//第i个特征点的指针
//在kd_root中搜索目标点feat的2个最近邻点,存放在nbrs中,返回实际找到的近邻点个数
int k = kdtree_bbf_knn(kd_root, feat, , &nbrs, KDTREE_BBF_MAX_NN_CHKS);
if (k == )
{
d0 = descr_dist_sq(feat, nbrs[]);//feat与最近邻点的距离的平方
d1 = descr_dist_sq(feat, nbrs[]);//feat与次近邻点的距离的平方
//若d0和d1的比值小于阈值NN_SQ_DIST_RATIO_THR,则接受此匹配,否则剔除
if (d0 < d1 * NN_SQ_DIST_RATIO_THR)
{ //将目标点feat和最近邻点作为匹配点对
pt1 = Point(cvRound(feat->x), cvRound(feat->y));//图1中点的坐标
pt2 = Point(cvRound(nbrs[]->x), cvRound(nbrs[]->y));//图2中点的坐标(feat的最近邻点)
pt2.y += img1->height;//由于两幅图是上下排列的,pt2的纵坐标加上图1的高度,作为连线的终点
cvLine(stacked, pt1, pt2, CV_RGB(, , ), , , );//画出连线
matchNum++;//统计匹配点对的个数
feat1[i].fwd_match = nbrs[];//使点feat的fwd_match域指向其对应的匹配点
}
}
free(nbrs);//释放近邻数组
}
//qDebug() << tr("经距离比值法筛选后的匹配点对个数:") << matchNum << endl;
cout << "经距离比值法筛选后的匹配点对个数:" << matchNum << endl;
//显示并保存经距离比值法筛选后的匹配图
cvNamedWindow("IMG_MATCH1", );//创建窗口
cvShowImage("IMG_MATCH1", stacked);//显示 //利用RANSAC算法筛选匹配点,计算变换矩阵H
CvMat * H = ransac_xform(feat1, n1, FEATURE_FWD_MATCH, lsq_homog, , 0.01, homog_xfer_err, 3.0, &inliers, &n_inliers);
//qDebug() << tr("经RANSAC算法筛选后的匹配点对个数:") << n_inliers << endl;
cout << "经RANSAC算法筛选后的匹配点对个数:" << matchNum << endl;
//遍历经RANSAC算法筛选后的特征点集合inliers,找到每个特征点的匹配点,画出连线
for (int i = ; i<n_inliers; i++)
{
feat = inliers[i];//第i个特征点
pt1 = Point(cvRound(feat->x), cvRound(feat->y));//图1中点的坐标
pt2 = Point(cvRound(feat->fwd_match->x), cvRound(feat->fwd_match->y));//图2中点的坐标(feat的匹配点)
//qDebug() << "(" << pt1.x << "," << pt1.y << ")--->(" << pt2.x << "," << pt2.y << ")" << endl;
cout << "(" << pt1.x << "," << pt1.y << ")--->(" << pt2.x << "," << pt2.y << ")" << endl;
pt2.y += img1->height;//由于两幅图是上下排列的,pt2的纵坐标加上图1的高度,作为连线的终点
cvLine(stacked_ransac, pt1, pt2, CV_RGB(, , ), , , );//画出连线
}
cvNamedWindow("IMG_MATCH2",);//创建窗口
cvShowImage("IMG_MATCH2", stacked_ransac);//显示 IplImage* xformed_proc12 = NULL; xformed_proc12 = spliceImage(img1, img2);
if (NULL != xformed_proc12)
{
cvNamedWindow("拼接后", );//创建窗口
cvShowImage("拼接后", xformed_proc12);//显示处理后的拼接图
cvSaveImage("gg12345678.jpg", xformed_proc12);
cvWaitKey();
} } int main(){ IplImage * img1 = cvLoadImage("l4.png");
IplImage * img2 = cvLoadImage("r4.png"); match(img1, img2); cvWaitKey(); }
还有12个文件,前面已经反复复制粘贴过了。应该不用描述了,总之把它们写入到对应的头文件和原文件里面,就可以执行了。