网页正文提取怎么选:trafilatura 与 readability 十页实测

结论先说:抓中文网页正文,trafilatura 加 favor_precision 一个参数,十个真实页面精度全部 1.000;readability 三行代码拿到 0.947;jusText 可以直接放弃,它已经没有中文停用词表。

十个页面与打分口径

样本全部来自本站,五种模板各取两篇:171 栏目的长技术稿(带表格与代码块)、277 栏目的快讯、208 栏目的短资讯。最短一篇正文 758 字,最长 6945 字,页面 HTML 在 74KB 到 87KB 之间,导航条、侧栏、文末推荐都在真实页面上,没有裁剪过。

这条链路和文档解析是一对。PDF 那一侧已经做过一轮对比,docling 与 MinerU 三份文件实测 里给的是版面还原的判据;网页这一侧缺的是同一套量化口径,本文补上。

金标不靠人工抄。直接从 WP REST 取 content.rendered,去标签后就是正文基准,每个字都有出处,也不受主观判断影响。

打分用 8 字滑窗。金标和输出都去掉空白与 markdown 标记,每 8 个连续汉字切一片,统计两边的重合率。召回是金标被覆盖的比例,精度是输出里属于正文的比例。只报一个会被骗,长稿上精度轻易上 0.9,短稿上掉到 0.3。

归一化要做三步,顺序不能错:去空白、去 markdown 标记、去掉表格分隔行。第三步最容易漏,我在下面单列一节,漏掉它会把结论算反。

八种方案的总成绩

方案 召回 精度 F1 输出体积 单页耗时
trafilatura 精度优先 0.984 1.000 0.992 0.99 倍 6.1 毫秒
readability-lxml 0.966 0.947 0.956 1.02 倍 6.1 毫秒
trafilatura 默认 0.986 0.908 0.944 1.05 倍 5.0 毫秒
trafilatura 召回优先 0.986 0.908 0.944 1.05 倍 3.6 毫秒
整页取文本(不提取) 0.997 0.685 0.796 1.38 倍 4.0 毫秒
html2text 整页 0.983 0.528 0.667 2.09 倍 3.8 毫秒
jusText 英文表兜底 0 0 0 0 3.8 毫秒
jusText 中文表 异常 异常 异常 异常 0 毫秒

排名在修正口径之后非常干净。trafilatura 精度优先 F1 0.992,readability 0.956,trafilatura 默认 0.944,整页取文本 0.796,html2text 0.667。jusText 两种写法都是 0。

表里有一行值得单说:召回优先(favor_recall)与默认模式逐位相同,召回 0.986、精度 0.908,一个数字都没动。这个开关在本批页面上等于空转,指望它把丢掉的正文捞回来会失望。

trafilatura 加一个参数,精度从 0.908 到 1.000

调用就四行长这样,关键是 favor_precision 与 include_comments 两项:

import trafilatura

html = open("page.html", encoding="utf-8").read()
text = trafilatura.extract(
    html,
    include_tables=True,
    include_comments=False,
    favor_precision=True,
    output_format="txt",
)

十个页面精度全是 1.000,也就是输出里没有任何一个 8 字片段落在正文之外。召回 0.954 到 1.000,差额部分我逐段查过,全是文末的相关阅读推荐块,本来就该删。

同一个页面不开这个开关,会多出 250 到 294 个字,内容是延伸阅读加三篇推荐标题加发布时间。以 9888 那篇表格提取实测 为例,默认模式返回 6439 字,精度优先返回 6189 字,差的就是这一块。

表格没有被削掉。那页有六张表共 64 个单元格,精度优先模式一个不少地保留,输出是 markdown 管道表,行列关系还原得回去。这一点在 txt 与 markdown 两种 output_format 下完全一致。

单页 6.1 毫秒,比默认模式多 1.1 毫秒。抓一个页面通常要几百毫秒,这 1 毫秒可以忽略。

readability 少写三行,精度 0.947

from readability import Document
from bs4 import BeautifulSoup

html = open("page.html", encoding="utf-8").read()
soup = BeautifulSoup(Document(html).summary(), "lxml")
text = soup.get_text("\n")

召回 0.966,精度 0.947,输出体积是正文的 1.02 倍,五个方案里最省。它在长稿上很稳,六篇长稿召回 0.974 到 0.999。

短稿上会退化。2673 那篇 758 字的短资讯,召回掉到 0.871,精度 0.829,输出的 816 字里有正文被切掉的痕迹。原因是短页面的 DOM 里正文块和推荐位结构相似,readability 的打分把两者算成了同一块。

短页面上,整页取文本只有三成是正文

这条最容易被忽略。同一个 758 字的短资讯,整页取文本返回 2498 字,精度 0.318,三分之二的内容是导航、侧栏和推荐。另一篇 954 字的短资讯,精度 0.359。

长稿上看不出这个问题。六篇长稿的整页精度在 0.755 到 0.835,因为噪声的量大致固定在一两千字,正文越长被稀释得越彻底。用长稿调好的流程,换到短讯上就会翻车。

判断方法很直接:先提取再数字数。输出长度是正文两倍以上,说明没做正文边界,回去补提取这一步。

html2text 整页:正文体积翻一倍

html2text 不做正文识别,整页转 markdown,精度 0.528,输出体积是正文的 2.09 倍。它的好处在保留结构:标题层级、列表、表格管道符都还在,比裸的 get_text 好看得多。

体积翻倍会改变成本结构。语料体积直接决定嵌入耗时与上下文占用,同一批内容多一倍字符,后面的开销跟着翻一倍,嵌入模型按块长选型的实测 里能看到这个开销的具体量级。用它必须自己先切出正文区间,否则等于把导航一起喂给模型。

踩坑一:jusText 已经没有中文停用词表

按老教程写 justext.get_stoplist(“Chinese”),第一步就抛异常:

ValueError: Stoplist for language 'Chinese' is missing.
Please use function 'get_stoplists' for complete list of stoplists

装的版本是 justext 3.0.2,get_stoplists() 返回 100 个语言表,有 Korean、Vietnamese 这类,就是没有 Chinese。这个变化在中文教程里几乎没人提,照抄会卡在安装好之后的第一次调用。

有人会拿英文表兜底。实测 9888 那页,252 个段落全部被判成 boilerplate,输出 0 字符,程序不报错,退出码 0。原因是 jusText 按空格切词统计停用词密度,中文没有空格,密度永远是 0。

判断方法:输出长度 0 就是它。

踩坑二:编码解错一次,F1 从 1.000 掉到 0.14

同一份 HTML,正确按 UTF-8 解码,8 字滑窗口径下召回 1.000、精度 1.000。按 latin-1 解码后再喂进去,召回 0.172、精度 0.115。按 gbk 解码,0.171 和 0.125。三个数字都不报错,运行照常结束。

输出长度还会变长,9435 对 6189。乱码字符占的字节更多,看上去像抓到了更多内容,实际全是废字。

直接传 bytes 反而最稳。trafilatura.extract(html_bytes) 自带编码嗅探,结果与正确解码逐字节一致,1.000 和 1.000。所以别急着 decode。

用 requests 的人注意 r.text。站点没在响应头给 charset 时,requests 会按 ISO-8859-1 解码,正好落进这个坑。改成 r.content 传原始字节。

踩坑三:表格分隔行会让评测结论反转

这条是我自己踩的。第一版归一化只去了空白和 markdown 标记,忘了 markdown 表格的分隔行。9888 那页有六张表,输出里躺着 160 个管道符和几十个连字符,全被算成噪声。

结果精度优先模式只有 0.899,readability 是 0.948,看着像 trafilatura 打不过;去掉分隔行重新算,精度优先变成 1.000,结论直接反过来。

自己写评测脚本时,正则要写成剔除三个以上连续连字符的形态,别只做 strip。表格越多的页面,这个偏差越大。

可直接抄的跑批骨架

import requests, trafilatura

UA = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)"}

def fetch_text(url):
    r = requests.get(url, headers=UA, timeout=20)
    if r.status_code != 200:
        return None
    return trafilatura.extract(
        r.content,
        include_tables=True,
        include_comments=False,
        favor_precision=True,
        output_format="txt",
    )

for u in open("urls.txt").read().split():
    t = fetch_text(u)
    print(len(t) if t else 0, u)

这一行要传 r.content,别传 r.text,它是骨架里唯一不能改的地方。其余参数按需调,favor_precision 建议开着,代价是 1 毫秒和约 1.5% 的召回,换回来的是零噪声。

跑完之后通常还要切块,块长怎么选已经在 200 到 1600 字的切分实测 里量过;正文没洗干净就切,噪声会被切进每一个块,后面的检索分数全都带着污染。

选型结论

给 RAG 或者模型做语料,选 trafilatura 加 favor_precision。它在这批页面上精度 1.000、召回 0.984、体积 0.99 倍,表格整格保留,一行参数就能复现。

只要段落文本、不想多装依赖,readability 够用。一个 lxml 依赖,六行代码,精度 0.947,体积 1.02 倍。短资讯页面上要复核召回,那类页面它会切掉正文。

需要结构化输出就留在 trafilatura。表格在两套方案里都保住了单元格,但 readability 拍平成连续文本,行列关系要靠位置猜,trafilatura 直接给管道表。

jusText 与 html2text 整页都不在候选里。前者的中文支持已经断了,后者的体积翻倍会让后面的嵌入与推理开销一起翻倍。速度在可忽略量级,五个方案单页都在 4 到 6 毫秒,抓取时间比它大两个数量级。

常见问题

trafilatura 输出格式怎么选

txt、markdown、json、xml、csv 五种。做语料用 txt 就够,表格已经是管道表,和 markdown 格式下看到的表格完全一样。要保留标题层级和链接用 markdown,要带元信息用 json。

一千个页面要跑多久

解析本身按 6.1 毫秒一页算,一千页六秒。真实瓶颈在抓取,单线程顺序抓通常要二十分钟以上,并发控制在 5 到 8 路比较稳。解析可以开多进程,它几乎不占带宽。

精度多少算正常

在自建金标口径下,0.95 以上算正常,trafilatura 精度优先能做到 1.000。低于 0.8 先查两件事:是否整页取文本,是否编码解错了。这两个原因占实测问题的大部分。

全部文章归档与模型专题