今天在看RSS Clustering的文章时候想到了分词的问题,文章里面介绍的时候讲的是英文的clustering过程,统计词频对英文很简单,但是对于中文来说就没有容易了.中文的分词一直是个麻烦事情,涉及到很多NLP的东西,我完全不懂,不过不考虑中文就做英文内容的处理的话又不太甘心,毕竟自己的母语是中文.
要怎么样才能绕开这个障碍呢,文章是在公交车上面看的,办法也是在公交车上想出来的,用Google Translate来搞定!Google的Translate可以把各种(也不是各种吧,总之很多种)语言翻译成英语,里面用了N种统计学加计算机科学方面的知识,应该来说效果还不错,假如我可以调用Google Translate的API来把所有的中文都翻译成英文,中文的分词问题不就解决了吗?
回来以后立刻Google了一下Google Translate的API,还去它的developer社区找了一阵,发现原来Translate没有API可以用的,真是令人失望啊,看来Google在这方面还是不够开放.不过偶然发现了有人也想到了Google Translate的API访问问题,还找到了调用的办法,cool,下次找个时间一定要来实验一下.
其实Google Translate的API不开放真的满可惜的,像这个点子很不错的其实,不过不能调API的话就无从谈起了.