玩蛇网提供最新Python编程技术信息以及Python资源下载!

Python实现分词处理的示例

python 培训

Python实现分词处理的示例,大概的基本思想是:
先取一句话的前六个字符查词库,所得结果若不是一个词,需要做的则是剔除六个字的最后一个字再查;这样下去直到找到一个词为止。
对句子剩余部分重复此操作,直到把所有的词都分出来,就是这段代码要完成的任务。

def FMMSplit(sentence):
    'This is Forward Maximum Matching method.'

    MAXRANGE = 6

    splitedWords = []

    sentenceLength = sentence.__len__()

    finalPoint = sentenceLength - 1

    startPoint = 0

    endPoint = min(finalPoint, MAXRANGE - 1)
    #www.iplaypython.com

    while startPoint <= finalPoint:
        tempPoint = endPoint

        while tempPoint >= startPoint:
            subString = sentence[startPoint:tempPoint + 1]

            if ALLWORDS.has_key(subString):
                splitedWords.append(subString)
                break

            else:

                tempPoint -= 1           

        startPoint += 1

        endPoint = endPoint + 1 if endPoint + 1 <= finalPoint else endPoint

    return splitedWords

玩蛇网原创,转载请注明文章出处和来源网址:http://www.iplaypython.com/code/other/o2458.html



微信公众号搜索"玩蛇网Python之家"加关注,每日最新的Python资讯、图文视频教程可以让你一手全掌握。强烈推荐关注!

微信扫描下图可直接关注

玩蛇网Python新手QQ群,欢迎加入: ① 240764603 玩蛇网Python新手群
文章发布日期:2016-04-08 13:34 玩蛇网 www.iplaypython.com

评论列表(网友评论仅供网友表达个人看法,并不表明本站同意其观点或证实其描述)
相关文章推荐
别人正在看
特别推荐
去顶部去底部