TIKAを使用してURLからテキストを抽出

Question

TikaでURLからテキストを抽出することはできますか？すべてのリンクが評価されます。またはTIKAは、pdf、単語およびその他のメディア文書でのみ使用できますか？

Answer 1

これはlucidからである：

InputStream input = new FileInputStream(new File(resourceLocation)); 
ContentHandler textHandler = new BodyContentHandler(); 
Metadata metadata = new Metadata(); 
PDFParser parser = new PDFParser(); 
parser.parse(input, textHandler, metadata); 
input.close(); 
out.println("Title: " + metadata.get("title")); 
out.println("Author: " + metadata.get("Author")); 
out.println("content: " + textHandler.toString()); 

代わりにあなたは自動的にファイルの差分タイプを処理するためティカのAutoDetectParserを使用することができますPDFParser作成する：

Parser parser = new AutoDetectParser(); 

Answer 2

documentationを確認してください。可能です。

例

java -jar tika-app-0.9.jar -t http://stackoverflow.com/questions/6656849/extract-the-text-from-url-using-tika 

はあなたにこのページ上のテキストが表示されます。

Answer 3

URLからではないローカルファイルからコンテンツを抽出するためにこのコードを使用してください：

byte[] raw = content.getContent(); 
    ContentHandler handler = new BodyContentHandler(); 
    Metadata metadata = new Metadata(); 
    Parser parser = new AutoDetectParser(); 
    parser.parse(new ByteArrayInputStream(raw), handler, metadata, new ParseContext()); 
    LOG.info("content: " + handler.toString()); 

Answer 4

はい、あなたはそれを行うことができます。ここにコードがあります。このコードは、Apache http client

HttpGet httpget = new HttpGet("http://url.here"); 
    HttpEntity entity = null; 
    HttpClient client = new DefaultHttpClient(); 
    HttpResponse response = client.execute(httpget); 
    entity = response.getEntity(); 
    if (entity != null) { 
     InputStream instream = entity.getContent(); 
     BodyContentHandler handler = new BodyContentHandler(); 
     Metadata metadata = new Metadata(); 
     Parser parser = new AutoDetectParser(); 
     parser.parse(instream, handler, metadata, new ParseContext()); 
     String plainText = handler.toString(); 
     FileWriter writer = new FileWriter("/scratch/cache/output.txt"); 
     writer.write(plainText); 
     writer.close(); 
     System.out.println("done"); 
    }