在做蜘蛛采集的时侯从一个起始地址开始能得到一大堆的URL
对于内容的页面需要进行内容抽取
对于URL列表的页面需要解析出内容页面URL

很显然，对于不同的页面需要进行不同的操作。
但是问题是，如何判断一个URL到底是内容页面还是列表页面。

一个很简单的方法是：抽取页面内的所有URL，判断URL的相似度。
当然通过判断页面内是否存在大块的文本也能大概知道这个页面是否内容页面。

这里要提一下的是URL相似度的判断。
这里的相似度和所谓的文本相似度大有不同，如果采用统计的方法基本上没戏。
因此可以采用编辑距离来完成。
关于编辑距离 可以参考 wiki ：Levenshtein distance Code  From Wiki By public static int LevenshteinDistance(string s1, string s2)
 2{ //Code  From Wiki By     const int cost_ins = 1;
 4    const int cost_del = 1;
 5    const int cost_sub = 1;
 6 
 7    int n1 = s1.Length;
 8    int n2 = s2.Length;
 9 
10    int[] p = new int[n1 + 1];
11    int[] q = new int[n2 + 1];
12 
13    p[0] = 0;
14    for (int j = 1; j <= n2; ++j)
15        p[j] = p[j - 1] + cost_ins;
16 
17    for (int i = 1; i <= n1; ++i)
18    {
19        q[0] = p[0] + cost_del;
20        for (int j = 1; j <= n2; ++j)
21        {
22            int d_del = p[j] + cost_del;
23            int d_ins = q[j - 1] + cost_ins;
24            int d_sub = p[j - 1] + (s1[i - 1] == s2[j - 1] ? 0 : cost_sub);
25            q[j] = Math.Min(Math.Min(d_del, d_ins), d_sub);
26        }
27        int[] r = p;
28        p = q;
29        q = r;
30    }
31    return p[n2];
32}
33

Good Luck
文章转载自:http://www.cnblogs.com/TtTiCk/archive/2008/12/16/1355941.html