博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
使用Jsoup 抓取页面的数据
阅读量:4937 次
发布时间:2019-06-11

本文共 8680 字,大约阅读时间需要 28 分钟。

 需要使用的是jsoup-1.7.3.jar包   如果需要看文档我下载请借一步到官网:  

这里贴一下我用到的 Java工程的测试代码

package com.javen.Jsoup;import java.io.IOException;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;public class JsoupTest {    static String url="http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html";    /**     * @param args     * @throws Exception     */    public static void main(String[] args) throws Exception {                // TODO Auto-generated method stub        BolgBody();        //test();        //Blog();        /*         * Document doc = Jsoup.connect("http://www.oschina.net/")         * .data("query", "Java") // 请求参数 .userAgent("I ’ m jsoup") // 设置         * User-Agent .cookie("auth", "token") // 设置 cookie .timeout(3000) //         * 设置连接超时时间 .post();         */// 使用 POST 方法访问 URL        /*         * // 从文件中加载 HTML 文档 File input = new File("D:/test.html"); Document doc         * = Jsoup.parse(input,"UTF-8","http://www.oschina.net/");         */    }    /**     * 获取指定HTML 文档指定的body     * @throws IOException     */    private static void BolgBody() throws IOException {        // 直接从字符串中输入 HTML 文档        String html = " 开源中国社区 "                + "

这里是 jsoup 项目的相关文章

"; Document doc = Jsoup.parse(html); System.out.println(doc.body()); // 从 URL 直接加载 HTML 文档 Document doc2 = Jsoup.connect(url).get(); String title = doc2.body().toString(); System.out.println(title); } /** * 获取博客上的文章标题和链接 */ public static void article() { Document doc; try { doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/").get(); Elements ListDiv = doc.getElementsByAttributeValue("class","postTitle"); for (Element element :ListDiv) { Elements links = element.getElementsByTag("a"); for (Element link : links) { String linkHref = link.attr("href"); String linkText = link.text().trim(); System.out.println(linkHref); System.out.println(linkText); } } } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } } /** * 获取指定博客文章的内容 */ public static void Blog() { Document doc; try { doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get(); Elements ListDiv = doc.getElementsByAttributeValue("class","postBody"); for (Element element :ListDiv) { System.out.println(element.html()); } } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } }}

   下面来介绍android中使用Jsoup异步解析网页的数据 请注意: 这里很容易遇到一个乱码的问题

    1. 配置文件:AndroidManifest.xml中加 权限 <uses-permission android:name="android.permission.INTERNET"></uses-permission>
    2. layout的布局文件

主要异步加载数据的代码

 

package com.javen.aaa;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.net.URL;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;import android.app.Activity;import android.app.Dialog;import android.app.ProgressDialog;import android.os.AsyncTask;import android.os.Bundle;import android.util.Log;import android.webkit.WebView;import android.widget.TextView;public class MainActivity extends Activity {    private WebView webView;    private TextView textView;    private static final int DIALOG_KEY = 0;    @Override    protected void onCreate(Bundle savedInstanceState) {        super.onCreate(savedInstanceState);        setContentView(R.layout.main);        webView = (WebView) findViewById(R.id.webView);        textView=(TextView) findViewById(R.id.textView);        try {            ProgressAsyncTask asyncTask=new ProgressAsyncTask(webView,textView);            asyncTask.execute(10000);        } catch (Exception e) {            // TODO Auto-generated catch block            e.printStackTrace();        }    }        public  String test() {        StringBuffer buffer=new StringBuffer();        Document doc;        try {            doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/").get();            Elements ListDiv = doc.getElementsByAttributeValue("class","postTitle");            for (Element element :ListDiv) {                Elements links = element.getElementsByTag("a");                for (Element link : links) {                    String linkHref = link.attr("href");                    String linkText = link.text().trim();                    buffer.append("linkHref=="+linkHref);                    buffer.append("linkText=="+linkText);                                        System.out.println(linkHref);                    System.out.println(linkText);                }            }        } catch (IOException e) {            // TODO Auto-generated catch block            e.printStackTrace();        }        return buffer.toString();    }        // 弹出"查看"对话框        @Override        protected Dialog onCreateDialog(int id) {            switch (id) {            case DIALOG_KEY: {                ProgressDialog dialog = new ProgressDialog(this);                dialog.setMessage("获取数据中  请稍候...");                dialog.setIndeterminate(true);                dialog.setCancelable(true);                return dialog;            }            }            return null;        }                public static String readHtml(String myurl) {            StringBuffer sb = new StringBuffer("");            URL url;            try {                url = new URL(myurl);                BufferedReader br = new BufferedReader(new InputStreamReader(url.openStream(), "gbk"));                String s = "";                while ((s = br.readLine()) != null) {                    sb.append(s + "\r\n");                }            } catch (Exception e) {                e.printStackTrace();            }            return sb.toString();        }        class ProgressAsyncTask extends AsyncTask
{ private WebView webView; private TextView textView; public ProgressAsyncTask(WebView webView,TextView textView) { super(); this.webView=webView; this.textView=textView; } /** * 这里的Integer参数对应AsyncTask中的第一个参数 这里的String返回值对应AsyncTask的第三个参数 * 该方法并不运行在UI线程当中,主要用于异步操作,所有在该方法中不能对UI当中的空间进行设置和修改 * 但是可以调用publish Progress方法触发onProgressUpdate对UI进行操作 */ @Override protected String doInBackground(Integer... params) { String str =null; Document doc = null; try {// String url ="http://www.cnblogs.com/zyw-205520/p/3355681.html";// // doc= Jsoup.parse(new URL(url).openStream(),"utf-8", url);// //doc = Jsoup.parse(readHtml(url));// //doc=Jsoup.connect(url).get();// str=doc.body().toString(); doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get(); Elements ListDiv = doc.getElementsByAttributeValue("class","postBody"); for (Element element :ListDiv) { str=element.html(); System.out.println(element.html()); } Log.d("doInBackground", str.toString()); System.out.println(str); //你可以试试GBK或UTF-8 } catch (Exception e) { // TODO Auto-generated catch block e.printStackTrace(); } return str.toString() ; //return test(); } /** * 这里的String参数对应AsyncTask中的第三个参数(也就是接收doInBackground的返回值) * 在doInBackground方法执行结束之后在运行,并且运行在UI线程当中 可以对UI空间进行设置 */ @Override protected void onPostExecute(String result) { webView.loadData(result, "text/html;charset=utf-8", null); textView.setText(result); removeDialog(DIALOG_KEY); } // 该方法运行在UI线程当中,并且运行在UI线程当中 可以对UI空间进行设置 @Override protected void onPreExecute() { showDialog(DIALOG_KEY); } /** * 这里的Intege参数对应AsyncTask中的第二个参数 * 在doInBackground方法当中,,每次调用publishProgress方法都会触发onProgressUpdate执行 * onProgressUpdate是在UI线程中执行,所有可以对UI空间进行操作 */ @Override protected void onProgressUpdate(Integer... values) { } }}

 

转载于:https://www.cnblogs.com/kingCpp/p/5341001.html

你可能感兴趣的文章
Spring解析
查看>>
支付宝签约教程及注意事项
查看>>
Linux Glibc溢出漏洞凶猛来袭 可让***者获取操作系统的控制权限
查看>>
设计模式之原则
查看>>
Maven修改全局和局部JDK版本
查看>>
设计模式——组合模式(Composite Pattern)
查看>>
java设计模式之——代理模式
查看>>
php页面防止重复提交
查看>>
Perl DBI模块的例子
查看>>
python中str和repr区别
查看>>
升级win10后无法使用桥接网络解决方法
查看>>
如何进行跨网段的远程唤醒
查看>>
数据挖掘-同比与环比
查看>>
nginx+php详解
查看>>
怎样取php一个字符串中的某个字符
查看>>
我的友情链接
查看>>
RedHat6 管理应用服务【11】
查看>>
stm32F10x复习-1
查看>>
redis的学习使用(ubuntu系统下)
查看>>
20135226黄坤信息安全系统设计基础期末总结
查看>>