新浪微博内容采取什么方式加载的

前段时间写了一些关于抓取新浪微博的经历，现在就贴一些我遇到过一些问题的代码实现思路吧：（我使用的是 htmlunit 爬虫）

每个人的博客主页中都有微博内容块，每次点击查看微博内容的时候你会发现，微博内容不是一次加载的；这个问题不管是新浪还是腾讯，它们的内容加载方式都是一样的。

废话不多说，直接将代码实现：

1. 请求微博内容url，获取请求返回的数据，由于返回的微博内容时嵌入在js中，但是js中的微博内容是有规律的；所以我就截取js中包含微博内容的html标签内容。

然后解析html标签字符串，通过xpath方式获取想要的内容。

//微博首页

HtmlPage page = client.getPage(weiboUrl);

/*

* 提取js中的微博内容：

* 1. 使用htmlunit提供的xpath方法获取；缺点速度太慢，而且不稳定

* 2. 提取js中的html字符串，解析html内容；缺点提取html字符串准确度不高

*/

String responseContent = page.getWebResponse().getContentAsString();

String weiboContent = MyStringUtils.takeSomeJs2Html(responseContent, jsWeiboContent, jsHtmlMark);

HtmlCleaner cleaner = new HtmlCleaner();

TagNode contentNode = cleaner.clean(weiboContent);

Object[] nodes = contentNode.evaluateXPath("//div[@class='WB_text']");

2. 模拟第一次滚动请求加载数据，请求成功返回的是json数据，所以需要使用json方式提取其中的包含html标签内容的字符串内容。然后解析字符串，获取想要的内容。

//模拟第一次滚动请求

String rollingUrlOne = UrlFactory.createRollingOneAddContentUrl(domainId, 1, pageId);

WebRequest requestOne = new WebRequest(new URL(rollingUrlOne), HttpMethod.GET);

WebResponse jsonOne = client.loadWebResponse(requestOne);

JSONObject jsonObj = JSONObject.fromObject(jsonOne.getContentAsString());

String data = (String)jsonObj.get("data");

Document docOne = Jsoup.parse(data);

Elements elementsOne = docOne.select("div.WB_text");

滚动请求url：

//微博内容第一次滚动加载请求url

public static String createRollingOneAddContentUrl(String domainId,int pageNum,String userId){

return

"/p/aj/mblog/mbloglist?domain="+domainId+"&pre_page="+pageNum+"&page="+pageNum+"&pagebar=0&id="+userId;

}

//微博内容第二次滚动加载请求url

public static String createRollingTwoAddContentUrl(String domainId,int pageNum,String userId){

return

"/p/aj/mblog/mbloglist?domain="+domainId+"&pre_page="+pageNum+"&page="+pageNum+"&pagebar=1&id="+userId+"&script_uri=/p/"+userId+"/weibo";

}

3.模拟第二次滚动请求加载数据，实现原理如上。

//模拟第二次滚动请求

String rollingUrlTwo = UrlFactory.createRollingTwoAddContentUrl(domainId, 1, pageId);

WebRequest requestTwo = new WebRequest(new URL(rollingUrlTwo), HttpMethod.GET);

WebResponse jsonTwo = client.loadWebResponse(requestTwo);

JSONObject jsonObj2 = JSONObject.fromObject(jsonTwo.getContentAsString());

String data2 = (String)jsonObj2.get("data");

Document docTwo = Jsoup.parse(data2);

Elements elementsTwo = docTwo.select("div.WB_text");

4.获取分页列表，重复上面的操作过程即可。

//取分页列表

Elements elementsPage = docTwo.select("div.W_pages > span.list > div > a");

if(elementsPage!=null){

//去掉分页列表中的最后一条，最后一条为第一页

for(int i=elementsPage.size()-2;i>=0;i--){

Element element = elementsPage.get(i);

String pageHref = element.attr("href");

loadPageData(client,pageHref,elementsPage.size()-i,domainId,pageId);

// if(i>=50){

// System.out.println("微博内容太多，只取了前50页的微博内容。。。");

// break;

// }

}

}