7220人阅读
java（12）
JSOUP是一个没有界面的浏览器，用于分析和抓取网络html数据
使用他需要相关jar包，下载链接：/s/1sjuLGC1
例子：抓取/网页中指定规则新闻链接和标题
1.找到关键字&div class=&entry-header&&层下面的子标签&span&的属性数据就是想要的
Document doc = Jsoup.connect(&/&).get();
Elements links = doc.select(&div.entry-header&);
for (Element e : links) {
Elements elements = e.select(&span.number&).select(&a[href]&);
for (Element element : elements) {
element.attr(&href&);
element.attr(&title&).replace(&Comment on &, &&);
getNewsDate(element.attr(&href&));
} catch (Exception e) {
e.printStackTrace();
2.抓取一个网页数据还不够，还需要该网站分页的数据，那就需要知道该网站有多少页数，这里是选择器
[attr=value]：带有属性值的元素，例如[width=500] & 用法
&span style=&white-space:pre&& &/span&String html =
int total = 0;
Document doc = Jsoup.connect(&/&).get();
Elements links = doc.select(&div.content-nav&);
for (Element e : links) {
for(Element ent :e.select(&[title=跳转到最后一页]&)){
html = ent.attr(&href&);
if(html!=null&&html.length()&0){
int index = html.indexOf(&/page/&);
if(index!=-1&&index&html.length()){
total = Integer.parseInt(html.substring(index,html.length()));
} catch (NumberFormatException e1) {
total = 822;
3.相关选择器API介绍
采用CSS或类似jquery 选择器（selector）语法来处理HTML文档中的数据。
利用方法：和。
File input = new File(&/tmp/input.html&);
Document doc = Jsoup.parse(input, &UTF-8&, &/&);
Elements links = doc.select(&a[href]&); // a with href
Elements pngs = doc.select(&img[src$=.png]&);& // img with src ending .png
Element masthead = doc.select(&div.masthead&).first();
& // div with class=masthead
Elements resultLinks = doc.select(&h3.r & a&); // direct a after h3
Jsoup的元素支持类似CSS或（jquery）的选择器语法的查找匹配的元素，可实现功能强大且好的查询。
jsoup elements support a&(or&)
like selector syntax to find matching elements, that allows very powerful and robust queries.
Select方法可作用于、或，且是上下文相关的，因此可实现指定元素的过滤，或者链式选择访问。
The selectmethod is available in a&,&,
or in&. It is contextual, so you
can filter by selecting from a specific element, or by chaining select calls.
选择（操作）返回元素列表（），并提供一组方法来提取或处理结果。
Select returns a list of Elements (as&),
which provides a range of methods to extract and manipulate the results.
选择器概要（Selector overview）
Tagname：通过标签查找元素（例如：a）ns|tag：通过标签在命名空间查找元素，例如：fb|name查找&fb:name&元素#id：通过ID查找元素，例如#logo.class：通过类型名称查找元素，例如.masthead[attribute]：带有属性的元素，例如[href][^attr]：带有名称前缀的元素，例如[^data-]查找带有数据集（dataset）属性的元素[attr=value]：带有属性值的元素，例如[width=500][attr^=value]，[attr$=value]，[attr*=value]：包含属性且其值以value开头、结尾或包含value的元素，例如[href*=/path/][attr~=regex]：属性值满足的元素，例如img[src~=(?i)\.(png|jpe?g)]*：所有元素，例如*
选择器组合方法
el#id:：带有ID的元素ID，例如div#logoel.class：带类型的元素，例如. div.mastheadel[attr]：包含属性的元素，例如a[href]任意组合：例如a[href].highlightancestor child：继承自某祖（父）元素的子元素，例如.body p查找“body”块下的p元素parent & child：直接为父元素后代的子元素，例如: div.content & pf查找p元素，body & * 查找body元素的直系子元素siblingA + siblingB：查找由同级元素A前导的同级元素，例如div.head + divsiblingA ~ siblingX：查找同级元素A前导的同级元素X例如h1 ~ pel, el, el：多个选择器组合，查找匹配任一选择器的唯一元素，例如div.masthead, div.logo
伪选择器（Pseudo selectors）
:lt(n)：查找索引值（即DOM树中相对于其父元素的位置）小于n的同级元素，例如td:lt(3):gt(n)：查找查找索引值大于n的同级元素，例如div p:gt(2):eq(n) ：查找索引值等于n的同级元素，例如form input:eq(1):has(seletor)：查找匹配选择器包含元素的元素，例如div:has(p):not(selector)：查找不匹配选择器的元素，例如div:not(.logo):contains(text)：查找包含给定文本的元素，大小写铭感，例如p:contains(jsoup):containsOwn(text)：查找直接包含给定文本的元素:matches(regex)：查找其文本匹配指定的正则表达式的元素，例如div:matches((?i)login):matchesOwn(regex)：查找其自身文本匹配指定的正则表达式的元素注意：上述伪选择器是0-的，亦即第一个元素索引值为0，第二个元素index为1等
详见API 参考资料所列全部信息和细节。
示例完整代码
import java.io.IOE
import java.util.L
import org.jsoup.J
import org.jsoup.nodes.DataN
import org.jsoup.nodes.D
import org.jsoup.nodes.E
import org.jsoup.select.E
public class Main {
* @param args
public static void main(String[] args) {
getNews(&/&);
//p(getNewsDate(&/462705&));
static int currentPage = 0;
static String pageUrl = &/page/&;
static int totalPage = -1;
public static void getNews(String url){
currentPage++;
Document doc = Jsoup.connect(url).get();
if(totalPage==-1){
totalPage = getTotalPageNo(doc);
Elements links = doc.select(&div.entry-header&);
int index = 0;
for (Element e : links) {
Elements elements = e.select(&span.number&).select(&a[href]&);
for (Element element : elements) {
p(element.attr(&href&));
p(element.attr(&title&).replace(&Comment on &, &&));
p(getNewsDate(element.attr(&href&)));
while(currentPage&totalPage){
getNews(pageUrl+currentPage);
} catch (Exception e) {
e.printStackTrace();
* 获取的新闻总页数/page/2
* @param doc
public static int getTotalPageNo(Document doc){
String html =
int total = 822;
Elements links = doc.select(&div.content-nav&);
for (Element e : links) {
for(Element ent :e.select(&[title=跳转到最后一页]&)){
html = ent.attr(&href&);
if(html!=null&&html.length()&0){
int index = html.indexOf(&/page/&);
if(index!=-1&&index&html.length()){
total = Integer.parseInt(html.substring(index,html.length()));
} catch (NumberFormatException e1) {
total = 822;
* 获取新闻发布时间
* @param url
public static long getNewsDate(String url){
String dateStr =
long date = 0;
Document doc = Jsoup.connect(url).get();
Elements links =
doc.select(&meta&).select(&[name=weibo: article:create_at]&);
for (Element e : links) {
dateStr = e.attr(&content&).replace(&-&, &&).replace(& &, &&).replace(&:&, &&);
} catch (IOException e) {
e.printStackTrace();
if(dateStr!=null){
date = Long.parseLong(dateStr);
public static void p(Object o) {
System.out.println(o);
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：273902次
积分：3128
积分：3128
排名：第7592名
原创：61篇
转载：62篇
评论：41条
(1)(1)(5)(3)(4)(5)(2)(2)(1)(4)(10)(11)(4)(1)(1)(3)(5)(1)(1)(4)(2)(1)(3)(19)(13)(11)(2)(3)jsoup Java HTML解析器：设置一个元素的HTML内容
>>设置一个元素的HTML内容
设置一个元素的HTML内容
你需要一个元素中的HTML内容
可以使用中的HTML设置方法具体如下：
Element div = doc.select("div").first(); // &div&&/div&
div.html("&p&lorem ipsum&/p&"); // &div&&p&lorem ipsum&/p&&/div&
div.prepend("&p&First&/p&");//在div前添加html内容
div.append("&p&Last&/p&");//在div之后添加html内容
// 添完后的结果: &div&&p&First&/p&&p&lorem ipsum&/p&&p&Last&/p&&/div&
Element span = doc.select("span").first(); // &span&One&/span&
span.wrap("&li&&a href='/'&&/a&&/li&");
// 添完后的结果: &li&&a href=""&&span&One&/span&&/a&&/li&
这个方法将先清除元素中的HTML内容，然后用传入的HTML代替。
方法用于在分别在元素内部HTML的前面和后面添加HTML内容
对元素包裹一个外部HTML内容。
可以查看API参考文档中 和 方法来创建新的元素并作为文档的子元素插入其中。
设置元素的html内容JSOUP（13）
在解析获得一个Document实例对象，并查找到一些元素之后，你希望取得在这些元素中的数据。
要取得一个属性的值，可以使用&方法对于一个元素中的文本，可以使用方法对于要取得元素或属性中的HTML内容，可以使用,
上述方法是元素数据访问的核心办法。此外还其它一些方法可以使用：
这些访问器方法都有相应的setter方法来更改数据.
和集合类的参考文档
阅读更多JSOUP相关文章，请看专栏：
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：3160598次
积分：32665
积分：32665
排名：第101名
原创：186篇
转载：1793篇
评论：353条
(40)(43)(73)(15)(10)(17)(12)(6)(20)(27)(54)(71)(97)(74)(32)(2)(24)(21)(62)(60)(36)(23)(27)(46)(34)(76)(63)(121)(142)(74)(54)(120)(77)(42)(4)(12)(19)(1)(9)(15)(19)(18)(16)(31)(79)(68)