nltk: Tokenizing text into sentences

  1. 安装 nltk pip install nltk
  2. 下载nltk_data
    方法一: 通过客户端下载

    import nltk
    nltk.download()

    出现如下客户端,选择所需的包下载。(但由于网速原因,我自己没有下载成功)

    方法二: 通过命令行下载 (我自己也没下载成功)

    import nltk
    nltk.download(‘all’)

    方法三: 复制别人下载好的包
    通过盘多多的搜索,查找到python3所需的nltk_data文件夹 http://pan.baidu.com/share/link?shareid=3107283122&uk=270537756&fid=612886180436827 ,下载解压并放置到C://nltk_data的路径下

  3. text to sentences 的小例子

    from nltk.tokenize import sent_tokenize
    a=”Hello World. It’s good to see you. Thanks for buying this book.”
    b=sent_tokenize(a)
    print(b)





posted @ 2017-01-09 10:21  梳下鱼  阅读(330)  评论(0编辑  收藏  举报