More Natural Language Toolkit Taggers

基于转变的夸大公司的主要作用是制定改造规则,纠正最初的夸大公司的产出,使之与培训判决更加一致。 让我们看到以下工作流程:

Example

例如,我们将使用combine_tagger。 我们在从NgramTagger后继链中(在前对等)合并起来时所创造的。 页: 1 首先,让我们利用Combine.tagger来评估结果,然后将结果作为 初始_tagger用于培训钻探。

from tagger_util import backoff_tagger
from nltk.tag import UnigramTagger
from nltk.tag import BigramTagger
from nltk.tag import TrigramTagger
from nltk.tag import DefaultTagger
from nltk.corpus import treebank
train_sentences = treebank.tagged_sents()[:2500]
back_tagger = DefaultTagger( NN )
Combine_tagger = backoff_tagger(
   train_sentences, [UnigramTagger, BigramTagger, TrigramTagger], backoff = back_tagger
)
test_sentences = treebank.tagged_sents()[1500:]
Combine_tagger.evaluate(test_sentences)

Output

0.9234530029238365

现在,让我们在以下时间看到评价结果:Combine_tagger被作为 初始_tagger用于培训博尔-波段。

from tagger_util import train_brill_tagger
brill_tagger = train_brill_tagger(combine_tagger, train_sentences)
brill_tagger.evaluate(test_sentences)

Output

0.9246832510505041

我们可以注意到BrillTagger。 在Combine_tagger上,班级的准确性略有提高。

Complete implementation example

from tagger_util import backoff_tagger
from nltk.tag import UnigramTagger
from nltk.tag import BigramTagger
from nltk.tag import TrigramTagger
from nltk.tag import DefaultTagger
from nltk.corpus import treebank
train_sentences = treebank.tagged_sents()[:2500]
back_tagger = DefaultTagger( NN )
Combine_tagger = backoff_tagger(train_sentences,
[UnigramTagger, BigramTagger, TrigramTagger], backoff = back_tagger)
test_sentences = treebank.tagged_sents()[1500:]
Combine_tagger.evaluate(test_sentences)
from tagger_util import train_brill_tagger
brill_tagger = train_brill_tagger(combine_tagger, train_sentences)
brill_tagger.evaluate(test_sentences)

Output

0.9234530029238365
0.9246832510505041

TnT Tagger

TnT Tagger, 代表Tringrams'nTags, 是一个统计夸张,以第二行“Markov”模式为基础。

How does it work?

在以下步骤的帮助下,我们可以理解TnT tagger的工作:

首先根据培训数据,TnT tegger维持了几个内部FreqDist和 ConditionsalFreqDist。

之后,这些频率分布情况将计算出图表和三图。

现在,通过使用频率进行标记时,它将计算每个字的可能标签的概率。

因此,它不建造NgramTagger的背后链,而是使用所有Ngram模型共同选择每一字的最佳标签。 让我们在以下例子中用TnT tagger来评估准确性:

from nltk.tag import tnt
from nltk.corpus import treebank
train_sentences = treebank.tagged_sents()[:2500]
tnt_tagger = tnt.TnT()
tnt_tagger.train(train_sentences)
test_sentences = treebank.tagged_sents()[1500:]
tnt_tagger.evaluate(test_sentences)

Output

0.9165508316157791

我们的精度略低于我们Brill Tagger。

请注意,我们需要在 评价()之前打电话train(>)。 否则,我们将达到0%的准确性。