一、建立网页库和偏移文件
为文本搜索引擎建立网页库，首先要把所有的网页（这里是文章）格式化，并保存到指定的格式中。如以下格式：
|
| <doc>
| <docid>...</docid>
| <url>...</url>
| <title>...</title>
| <content>...</content>
| </doc>
| <doc>
| ...
| </doc>
| ...
其中<doc>……</doc>保存着一篇文章；<docid>...</docid> 保存文档id；<url>...</url>保存文本路径；<content>...</content> 保存文章内容。
如何生成这样的格式呢？对每一篇文章使用以下方法：
首先从文章中提取标题 title;以及获得文章的路径，然后用字符串拼接，拼接成上述格式。
std::ofstream ofs("pages.lib",std::ios::out)；//打开网页库
std::ofstream out("offset.lib",std::ios::out); //打开偏移文件
string txt = "<doc><docid>" + docid + "</docid>" + "<url>" + url + ... + "</doc>";
ofs << txt; //写到文件流
int offset = ofs.tellg();// offset 获得当前指针的位置 ,tellg()和tellp()是C++文件流操作中获得流指针的函数
int length = txt.size();//length
out<<docid<<" "<<offset<<""<<length<<endl;//将这片文章的起始位置和偏移量写到偏移文件中，便于后面从网页库中读出一篇网页
循环对所有文章执行上面的操作，就得到一个网页库和一个偏移文件。
二、解析网页
根据偏移文件，从网页库中读出一篇网页，接着对网页库中的docid,title,url进行解析。
以下是解析器的代码：
#ifndef _XMLPARSER_HPP
#define _XMLPARSER_HPP
#include <stdio.h>
#include <utility>
#include <string>
#include <stdlib.h>
using namespace std;
class XMLParser
{
public:
XMLParser(string & page)
:page_(page)
{}
string parser(string tag)
{
string ltag,rtag;
ltag = "<"+tag+">"; //拼接左标签
rtag = "</"+tag+">"; //拼接右标签
string str;
//pair<string,string> pr;
string::size_type bpos;
string::size_type epos;
string::size_type len;
//确定字符串范围
bpos = page_.find(ltag);//查找作标签下标
epos = page_.find(rtag);//查找右标签下标
bpos+=ltag.size();
len = epos - bpos; //计算标签包含内容长度
if(bpos==page_.npos||epos==page_.npos)
{
printf("No such tag: %s \n",tag.c_str());
exit(-);
}
if(bpos==epos)
{
printf("标签内容不存在\n");
exit(-);
} string content = page_.substr(bpos+,len-);//截取标签包含内容
#if 0
if(content[content.size()-]=='\n')
content[content.size()-]=='\0';
if(content[content.size()-]=='\n')
content[content.size()-]=='\0';
if(content[content.size()-]=='\n')
content[content.size()-]=='\0';
#endif
//pr.first = tag;
//pr.second = content;
//return pr; //最好使用std::move，减少复制
return content;
}
private:
string &page_; //使用引用，避免大复制
};
#endif
解析器每次只能传入一个标签，并且返回标签对应的内容，要对所有标签进行解析，那么就要多次调用parser()。当然，对于一篇文章，就对应一个解析器对象，parser()是对外的一个函数，接收标签，并从对象中解析出便签包含的内容。也就是说，创建一个对象可以对这个对象调用多次parser(string tag)对文章进行解析。
三、解析器的使用
首先要有一个加载偏移文件的工具，这里写了一个工具PageOffset.hpp
（代码折叠）代码如下：
#ifndef _PAGEOFFSET_HPP
#define _PAGEOFFSET_HPP #include <fstream>
#include <sstream>
#include <vector>
#include <string>
#include <utility>
#include <stdlib.h>
#include <stdio.h>
using namespace std; class PageOffset
{
public:
PageOffset(string &path)
{
ifstream ifs(path.c_str(),ios::in);
string line;
string str;
pair<int,int> p1;
pair<int ,pair<int ,int > > p2;
while(getline(ifs,line),!ifs.eof())
{
istringstream iss(line);
int pos = ;
while(iss>>str)
{
if(pos == )
{
p2.first = atoi(str.c_str());
}
else if(pos == )
{
p1.first = atoi(str.c_str());
}
else if(pos == )
{
p1.second = atoi(str.c_str());
p2.second = p1;
}
pos++;
}
offset.insert(p2);
}
ifs.close();
} pair<int ,int > &operator[](int docid)
{
return offset[docid];
} size_t size() const
{
return offset.size();
}
private:
map<int,pair<int,int> > offset;
};
#endif
测试程序代码如下：
#include "XMLParser.hpp"
#include "PageOffset.hpp"
#include <fstream>
#include <cstring>
#include <string>
#include <utility>
using namespace std;
int main()
{
ifstream ifs("pages.lib",ios::in);
PageOffset pageoffset("offset.lib");
char *buf = new char[*]; //开缓存空间
pair<int,int> page =(pageOffset)[vec[i]]; //从偏移文件中提取文档相应的offset与size,读出一篇文章
ifs.seekg(page.first,ios::beg); //定位文件起始位置
memset(buf,,*);
ifs.read(buf,page.second); //读取一篇文档
string str(buf); //C风格的字符串转化为C++风格的字符串
XMLParser xmlparser(str); //将文章加入解析器，初始化一个解析器对象
string title = xmlparser.parser("title"); //解析标题
string url = xmlparser.parser("url"); //解析url
string content = xmlparser.parser("content"); //解析内容
delete []buf; //释放缓存空间，防止内存泄露
return ;
}
以上是针对特定格式的文本库进行解析。因此不能给适用于多种场合。