Hi,大家好,我是编程小6,很荣幸遇见你,我把这些年在开发过程中遇到的问题或想法写出来,今天说一说朴素贝叶斯文本分类算法java实现[通俗易懂],希望能够帮助你!!!。
在学习了朴素贝叶斯的概念后,下来我们来看看它的java实现。
有一个网友已经实现了其java的算法,具体详见:
数据挖掘-基于贝叶斯算法及KNN算法的newsgroup18828文本分类器的JAVA实现(上)
Newsgroup18828文本分类器、文本聚类器、关联分析频繁模式挖掘算法的Java实现工程下载及运行FAQ
主要思路:利用google的Newsgroup18828文本分类器,使用多项式朴素贝叶斯文本分类算法进行文本自动分类。同时也实行了KNN算法进行文本分类。
DataPreProcess:利用stem算法进行文本预处理。过滤掉特殊字符。
该程序在代码中大量使用文件的绝对路径,下载下来使用,很不方便。我修改了其源码。在使用时只要设定程序主目录,将20news-18828.tar.gz包解压缩至设定程序主目录/orginSample的目录下。并修改了一点程序bug。将stopwords.txt放入到设定程序主目录下。
相关程序已经放入到github上:https://github.com/awnuxkjy/DataMiningClassify
public class ClassifierMain {
public static final String DEFALUT_DIR="e:"+"/"+
"recommend"+"/";
public static final String DATA_PRE_PROCESS_DIR=DEFALUT_DIR+"orginSample"+"/";
public static void main(String[] args) throws Exception {
// TODO Auto-generated method stub
DataPreProcess DataPP = new DataPreProcess();
NaiveBayesianClassifier nbClassifier = new NaiveBayesianClassifier();
KNNClassifier knnClassifier = new KNNClassifier();
DataPP.BPPMain(args);
nbClassifier.NaiveBayesianClassifierMain(args);
knnClassifier.KNNClassifierMain(args);
}
}
例如:我的程序主目录为e:/recommend
在其目录下新建orginSample目录,把20news-18828.tar.gz解压缩至该目录下。