Shi Zhuolin's Blog

PCFG, 基于概率上下文无关文法的短语结构句法解析

CFG上下文无关文法，结构和基本原理知识。

改进的迭代尺度优化算法的思路,通过给现有参数增加最大下界的增量参数以逐步迭代提高模型似然的方式优化模型参数。

使用lagrange转化为无约束优化问题，并使用极大似然求解对比。

承认在已知信息（特征函数约束）以外可能有未知信息会对判断y造成影响。但无法确定未知信息会对识别每个y的具体值造成何种影响，为了风险最小化，不对未知信息对Y的决策影响做任何主观倾向假设,而是认为未知信息对所有y的影响程度都是趋于相同的，于是风险被平摊。

使用最大熵模型解决HMM不能直接计算P(Q|O)和使用更复杂特征的问题。

使用二阶HMM分词，考虑分词标记更长远的历史标记状态。标记状态为2-gram. 因考虑更长历史状态会造成更多0转换概率，故使用 TnT平滑

将分词过程看待为通过观察语句的字序列估计隐藏的分词标注序序列任务。 基于字统计分词算法，无需词表，对新词识别友好。

最大概率法分词是在最大匹配分词算法上的改进。在某些语句切分时，按最大长度切分词语可能并不是最优切分。而不按最优长度切分词语，则同一语句会出现多种切分结果。计算每种切分结果的概率，选取概率最高的切分作为最终分词切分。

将算法分词结果与人工标注的分词结果对比，以此评估分词效果优劣。人工标注分词文本通常被看作公认的“黄金”标准。主要使用处理速度、精确率、召回率和F值四个指标衡量分词算法的性能。