最近要做一个站内的全文检索功能，主要是针对 clob 字段的，于是去网上找了点 lucene 的资料，现在新版本的是  2.0.0  ，网上的例子多是 1.4.3 的，有些方法已经废弃了，搞了 n 久终于把 2.0.0 的功能实现了，呵呵，下面把实现的代码贴出来，实现了索引的创建、检索和删除功能，并可以从检索结果去查询数据库 ~

lucene是一个十分不错的全文检索系统，其实在很早以前我就从放飞技术网（http://www.frontfree.net）知道了这个系统，但没有试用过，直到前几天一个朋友要我帮他调试weblucene，我才决定试用一下lucene。

这几天刚刚开始接触weblucene，首先第一个问题就是安装，这对于我这个刚刚开始用java的人就成了一个大问题，经过几番周折终于完成了，并且初步尝试了一些很有用的东西：javacc, ant，tomcat 这些基本东东的安装，环境变量的设置，以及ant的基本语法，并借初步接触了xml。原来xml就是一种很好用很通用的脚本语言，很多其他的工具（如ant编译器）建立在它的基础上，而语法则是ant自己定义的（呵呵，现在我自己是这样理解的）。在整个过程中，我每遇到一个问题首先是上网查查别人的经验，这样做确实比自己翻书快得多。但也会造成理解不透彻的结果，就是得到了结果，却不知道为什么这样做就可以，为什么自己先前的做法就不可以，而且网上的人提供的方法也不尽正确。

以下是看了lnboy写的《用lucene建立大富翁论坛的全文检索》后写的测试代码。
 
为数据库cwb.mdb建立全文索引的indexdb.jsp 

<%@ page import ="org.apache.lucene.analysis.standard.*" %>  
<%@ page import="org.apache.lucene.index.*" %> 
<%@ page import="org.apache.lucene.document.*" %> 
<%@ page import="lucene.*" %> 
<%@ page contentType="text/html; charset=GBK" %> 
<% 
      long start = System.currentTimeMillis(); 
      String aa=getServletContext().getRealPath("/")+"index";    
      IndexWriter writer = new IndexWriter(aa, new StandardAnalyzer(), true); 
    try { 
      Class.forName("sun.jdbc.odbc.JdbcOdbcDriver").newInstance();

PoweredBy - Jakarta-lucene Wiki

首先去 apache 网站下载 lucene 的开发包,并配置好环境变量
http://jakarta.apache.org/lucene/docs/index.html

建立索引程序:
/*
 * Created on 2004-4-26
 */

import org.apache.lucene.index.*;
import org.apache.lucene.analysis.standard.*;
import org.apache.lucene.document.*;
import java.io.*;

/**
 * @author bell.wang
 */
public class IndexFiles {

 public static void main(String[] args) {
  try{
   IndexWriter writer = new IndexWriter("myindex", new StandardAnalyzer(), true);
     
  
   File files = new File("mydoc");
   String[] Fnamelist = files.list();
   for (int i = 0; i < Fnamelist.length; i++){
    File file = new File(files,Fnamelist[i]);
     
    Document doc = new Document();
    Field fld = Field.Text("path", file.getPath());
    doc.add(fld);
  
    fld = Field.Keyword("modified", DateField.timeToString(file.lastModified()));
    doc.add(fld);
      
    FileInputStream in = new FileInputStream(file);
    Reader reader = new BufferedReader(new InputStreamReader(in));
    fld = Field.Text("contents", reader);
    doc.add(fld);
   
    writer.addDocument(doc);
    System.out.println("Added : " + doc.get("path")); 
    
   }   
   writer.optimize();
   writer.close();
   System.out.println("Has Added Total: " + Fnamelist.length);
  }catch(Exception e){
   System.out.println(e);
  }
 
 }

}

程序对当前路径下mydoc目录下所有文件建立索引，其中索引有三个字段: 文件路径，
最后修改时间，文件内容.  建立的索引文件在当前路径下的myindex目录

检索程序:
/*
 * Created on 2004-4-26
 *
 */
import org.apache.lucene.analysis.*;
import org.apache.lucene.analysis.standard.*;
import org.apache.lucene.search.*;
import org.apache.lucene.queryParser.*;
import org.apache.lucene.document.*;
//import com.augmentum.hrms.*;
import java.util.Date;
/**
 * @author bell.wang
 *
 */
public class SearchFile {

 public static void main(String[] args) {
  
  //XMap a = new XMap("");
  Analyzer anlzr = new StandardAnalyzer();
  try{
   Query q = QueryParser.parse("数据库", "contents", anlzr);
   System.out.println("Searching for : " + q.toString("contents"));
  
   Searcher serch = new IndexSearcher("myindex");
   Hits hts = serch.search(q);
   for(int i=0; i<hts.length(); i++){
    Document doc = hts.doc(i);
    String path = doc.get("path");
    System.out.println("Find: " +i+": "+ path);
    System.out.println("Find: " + doc.get("modified"));
    System.out.println("Find: " + doc.get("path"));
   }
   System.out.println("Find Total: " + hts.length());
  }catch(Exception e){
   System.out.println(e);
  }
 }
}

程序对索引的contents字段用“数据库“关键字进行查询，返回
的是所有包含有关键字的文档集合，分别打印出各个字段.

上面的程序我用纯文本文件测试通过，.txt,.jsp,.html 都可以，
word,pdf 等文件需要经过转化才能对其进行索引。

用java实现全文检索

在本文我又提到lucene了，在java业界，提到全文检索，几乎没有什么人不知道它。
用google搜索一下，满世界都是有关资料。具有代表性的就是车东的“基于Java的全文索引引擎Lucene简介”，
我要写的也就只有最简单的三板斧，再加上支持中文的ChineseAnalyzer以及按照时间排序的搜索结果排序方法。
这些都可以在其他地方找到相关资料，我只是把他们提出来，作为lucence应用中经常遇到的麻烦解决办法。
去年MSN上面有个朋友跟我提到希望用lucene构建个网站的全文检索，我当时就觉得很简单，直说没问题没问题，
不过他提到一个要求就是搜索结果要安装时间排序，我查阅了些资料，发现lucene并不提供用户自定义排序方式，
而只能按照自己相关性算法排序。后来我在车东的weblucene项目找到了IndexOrderSearcher。
解决了结果排序常规需求。
IndexOrderSearcher跟一般IndexSearch使用差不多，仅仅在构建对象的时候多加一个参数IndexOrderSearcher.ORDER_BY_DOCID_DESC
IndexOrderSearcher indexsearcher = new IndexOrderSearcher("/home/lucenetest/index",IndexOrderSearcher.ORDER_BY_DOCID_DESC);
新版本的lucene还提供了一个MultiFieldQueryParser，可以同时检索多个字段，以前QueryParser比较麻烦。
  private static ChineseAnalyzer chineseAnalyzer = new ChineseAnalyzer();
  public Hits search(String queryText){
        if (queryText == null){
          return null;
 }
 Query query;
 try{
   query = MultiFieldQueryParser.parse(queryText, new String[]{"title"},chineseAnalyzer);
   return indexsearcher.search(query);
 }catch(Exception e){
   return null;
 }
}
下面是构建索引，定时从数据库取出数据索引，做完记录完成时间，我是把时间写入一个txt文件。
package com.test.search;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.cn.*;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.*;
import org.apache.lucene.index.*;

import java.io.*;
import java.sql.*;
import java.util.Date;

import com.test.db.*;
import com.test.utility.*;

/**
 * Title: SearchIndexer
 * Description: 全文索引
 * Copyright:   Copyright (c) 2001
 * Company: test
 * @author Sean
 * @version 1.0
 */
public class SearchIndexer {
  private String indexPath = null;
  protected Analyzer analyzer = new ChineseAnalyzer();

  public SearchIndexer(String s) {
    this.indexPath = s;
  }
  /**
   * 索引某日期以前的所有文档
   * @param fromdate
   * @return
   */
  public final void updateIndex(String fromdate) {
    Connection conn = DbUtil.getCon();
    IndexWriter indexWriter = null;
    try {
      indexWriter = getWriter(false);
     //索引发布系统内部文件
        PreparedStatement pstm = conn.prepareStatement(
            "select title,body,creationtime from document where creationtime > '" + fromdate +
            "' order by creationtime");
        ResultSet rs = pstm.executeQuery();
        while (rs.next()) {
          String creationtime = rs.getString("creationtime");
          String title = rs.getString("title");
          String body = rs.getString("body");

         
          if (title == null || body == null) {
            continue;
          }
          try {
            addDocsToIndex(title,body, creationtime,indexWriter);
          }
          catch (Exception ex) {
            ex.printStackTrace();
          }
       }
      indexWriter.optimize();
    }
    catch (Exception ex) {
      ex.printStackTrace();
    }
    finally {
      try {
        indexWriter.close();
        conn.close();
      }
      catch (Exception e) {
        e.printStackTrace();
      }
    }
  }
  /**
   * 检查索引文件是否存在
   * @param s
   * @return 索引是否存在
   */
  private boolean indexExists(String s) {
    File file = new File(s + File.separator + "segments");
    return file.exists();
  }
  /**
   * 增加一组索引
   * @param title
   * @param body
   * @param creationtime
   * @param indexwriter
   * @return
   */
  private final void addNewsToIndex(String docid, String url,String title, String body,
                                      String ptime, IndexWriter indexwriter) throws
      IOException {
    if (indexwriter == null) {
      return;
    }
    else {
      try {
        Document document = new Document();
        document.add(Field.Text("title", title));
        document.add(Field.Text("body", body));
        document.add(new Field("creationtime", creationtime, true, true, false));
        indexwriter.addDocument(document);
      }
      catch (Exception ex) {
    ex.printStackTrace();
      }
      return;
    }
  }
  /**
   * 取得IndexWriter
   * @param flag 是否新建索引
   * @return IndexWriter
   */
  private IndexWriter getWriter(boolean flag) throws IOException {
    String s = indexPath;
    if (s == null) {
      throw new IOException("索引文件路径设置错误.");
    }
    indexPath = s + File.separator + "search";
    IndexWriter indexwriter = null;
    if (flag) {
      try {
        indexwriter = new IndexWriter(indexPath, analyzer, true);
      }
      catch (Exception exception) {
        System.err.println("ERROR: Failed to create a new index writer.");
        exception.printStackTrace();
      }
    }
    else {
      if (indexExists(indexPath)) {
        try {
          indexwriter = new IndexWriter(indexPath, analyzer, false);
        }
        catch (Exception exception1) {
          System.err.println("ERROR: Failed to open an index writer.");
          exception1.printStackTrace();
        }
      }
      else {
        try {
          indexwriter = new IndexWriter(indexPath, analyzer, true);
        }
        catch (Exception exception2) {
          System.err.println("ERROR: Failed to create a new index writer.");
          exception2.printStackTrace();
        }
      }
    }
    return indexwriter;
  }

  public static void main(String[] args) {
    String lastUpdate = "/home/lucenetest/lastUpdate.txt";
    SearchIndexer searchIndexer = new SearchIndexer("/home/lucenetest/index");
    //取出上次更新时间
    String str = Util.readTxtFile(lastUpdate);
    if(str==null || str.length()==0){
      str = new java.util.Date().toString();
    }
    searchIndexer.updateIndex(str);
    //写入当前时间
    Util.writeTxtFile(lastUpdate,new java.util.Date(),false);
  }
}
写个cmd或者sh在相应操作系统下面定时执行SearchIndexer就可以了。

作者：张杰
URL：http://spaces.msn.com/members/newbdez33/
http://www.phpboom.com/

由于工作需要，需要使用PHP实现对网站内大量数量进行全文检索，
而且目前最流行的全文检索的搜索引擎库就是Lucene了，
它是Apache Jakarta的一个子项目，并且提供了简单实用的API，
用这些API，就可以对任何基本文本的数据(包括数据库)进行全文检索。


因为PHP本身就支持调用外部Java类，所以先用Java写了一个类，
这个类通过调用Lucene的API，实现了两个方法： 

• public String createIndex(String indexDir_path,String dataDir_path)
• public String searchword(String ss,String index_path)

 其中createIndex是创建索引方法，
传入了两个参数分别是indexDir_path(索引文件的目录)，dataDir_path(被索引的文件目录)，返回被索引的文件列表字符串，
另一个是searchword，通过传入的关键字参数(ss)对索引进行检索，index_path就是索引文件的目录。返回所有检索到的文件。

 这里是源代码，很简单，大家可以参考一下：TxtFileIndexer.java

而PHP程序就调用这两个方法，实现对Lucene的调用，从而达到全文检索的目的。
PHP的调用方法如下： 
先创建一个我们写的TxtFileIndexer类的实例，

    $tf = new Java('TestLucene.TxtFileIndexer');

然后就按正常PHP类的调用方法的方式进行调用，首先创建索引：

    $data_path = "F:/test/php_lucene/htdocs/data/manual";  //定义被索引内容的目录
    $index_path = "F:/test/php_lucene/htdocs/data/search";  //定义生成的索引文件存放目录
    $s = $tf->createIndex($index_path,$data_path);  //调用Java类的方法
    print $s;  //打印返回的结果

这次再试试检索：

    $index_path = "F:/test/php_lucene/htdocs/data/search";  //定义生成的索引文件存放目录
    $s = $tf->searchword("here is keyword for search",$index_path);
    print $s;

另外要注意Java类的路径，可以在PHP里设置

    java_require("F:/test/php_lucene/htdocs/lib/");  //这是个例子，我的类和Lucene都放到这个目录下

这样就可以了，是不是很简单。

PHP源代码：test.php


接下来我把环境配置说一下，
首先需要有Java SDK，是必须的，我使用的是1.4.2版的，其它版本应该也没问题。
PHP5，试过PHP4，应该可以。

由于PHP5带的Java扩展没调通，并且以前用过调用Java效率很低，很慢，所以使用了 Php/Java Bridge 这个项目。

1.下载JavaBridge
URL:http://sourceforge.net/projects/php-java-bridge/
目前版本是
php-java-bridge_3.0.8_j2ee.zip

解包后把
JavaBridge\WEB-INF\cgi\java-x86-windows.dll
JavaBridge\WEB-INF\lib\JavaBridge.jar
复制到 c:\php\ext 目录下，并把
java-x86-windows.dll　改名为 php_java.dll


2.修改php.ini(例)
extension=php_java.dll

[Java]
java.class.path = "C:\php\ext\JavaBridge.jar;F:\test\php_lucene\htdocs"
java.java_home = "C:\j2sdk1.4.2_10"
java.library.path = "c:\php\ext;F:\test\php_lucene\htdocs"

3.重启Apache即可。

4.可以找一些文件进行索引
在test.php里可以修改索引文件和数据文件的路径。
TxtFileIndexer.java的37行限制了只索引html后缀的文件，有需要也可以修改。

根据目前的情况(JavaBridge支持Linux和Freebsd)，完全可以在
linux或freebsd/apache2/php4/lucene/JavaBridge
环境下运行。

PHP / Java Integration