开发者

Elements aren't found using Html Agility Pack

I try to htmlagilitypack to get document link http://vsd.vn/p4c22/tin-thanh-vien开发者_开发技巧.htm following code:

HtmlWeb htmlweb= new HtmlWeb();

HtmlDocument doc=htmlweb.load("http://vsd.vn/p4c22/tin-thanh-vien.htm");

and then

I get all Nodes

NewsListNode = doc.DocumentNode.SelectNodes("//*[@id='VSD_DanhSachTinTuc']/ul[1]//a");

but

NewsListNode= null

because node Div have not childnode but response to browser debug by firebug have result,

help me

thanks all


That is an empty element:

<div id="VSD_DanhSachTinTuc" class="w651bg w651main"></div>

so it makes perfect sense that you're seeing an empty result for a query. I guess the page is loading that with ajax or other DOM manipulation. Also, keep in mind that web-sites are usually intended for browsers, not scraping. There may be a more appropriate source of this data somewhere, perhaps an RSS feed.


As Marc pointed out your div tag is empty. Actually news are retrieved by Javascript in Ajax request:

POST http://vsd.vn/Ajax/action.ashx HTTP/1.1
Host: vsd.vn
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:5.0) Gecko/20100101 Firefox/5.0
Content-Type: application/x-www-form-urlencoded; charset=UTF-8
X-Requested-With: XMLHttpRequest
Referer: http://vsd.vn/p4c22/tin-thanh-vien.htm
Content-Length: 48

__aa=14&__catID=22&__pSize=20&__pIndex=1&__date=

And answer is JSON object with array of news

{ "TotalItem":168, "TotalPage":9, "d": [{"ArticleId": 6729,"Title": "205: Cấp Giấy chứng nhận Th&#224;nh vi&#234;n lưu k&#253;","Href": "/6729p4c22/205-cap-giay-chung-nhan-thanh-vien-luu-ky.htm","Date": "15/07/2011"},{"ArticleId": 6724,"Title": "015: Đăng k&#253; bổ sung Danh s&#225;ch ban l&#227;nh đạo phụ tr&#225;ch hoạt động lưu k&#253;","Href": "/6724p4c22/015-dang-ky-bo-sung-danh-sach-ban-lanh-dao-phu-trach-hoat-dong-luu-ky.htm","Date": "15/07/2011"},{"ArticleId": 6716,"Title": "006: Cấp Giấy chứng nhận chi nh&#225;nh hoạt động lưu k&#253; sửa đổi","Href": "/6716p4c22/006-cap-giay-chung-nhan-chi-nhanh-hoat-dong-luu-ky-sua-doi.htm","Date": "14/07/2011"},{"ArticleId": 6715,"Title": "070: Thay đổi Th&#224;nh vi&#234;n Hội đồng quản trị","Href": "/6715p4c22/070-thay-doi-thanh-vien-hoi-dong-quan-tri.htm","Date": "14/07/2011"},{"ArticleId": 6714,"Title": "032: Bổ sung nghiệp vụ kinh doanh chứng kho&#225;n","Href": "/6714p4c22/032-bo-sung-nghiep-vu-kinh-doanh-chung-khoan.htm","Date": "14/07/2011"},{"ArticleId": 6713,"Title": "032: Tăng vốn điều lệ","Href": "/6713p4c22/032-tang-von-dieu-le.htm","Date": "14/07/2011"},{"ArticleId": 6709,"Title": "057: Cấp Giấy chứng nhận Th&#224;nh vi&#234;n lưu k&#253; sửa đổi","Href": "/6709p4c22/057-cap-giay-chung-nhan-thanh-vien-luu-ky-sua-doi.htm","Date": "13/07/2011"},{"ArticleId": 6708,"Title": "006: Uỷ quyền k&#253; chứng từ lưu k&#253;","Href": "/6708p4c22/006-uy-quyen-ky-chung-tu-luu-ky.htm","Date": "13/07/2011"},{"ArticleId": 6707,"Title": "069: Uỷ quyền k&#253; chứng từ lưu k&#253;","Href": "/6707p4c22/069-uy-quyen-ky-chung-tu-luu-ky.htm","Date": "13/07/2011"},{"ArticleId": 6682,"Title": "085: Uỷ quyền k&#253; chứng từ lưu k&#253;","Href": "/6682p4c22/085-uy-quyen-ky-chung-tu-luu-ky.htm","Date": "12/07/2011"},{"ArticleId": 6667,"Title": "072: Cấp Giấy chứng nhận Th&#224;nh vi&#234;n lưu k&#253; sửa đổi","Href": "/6667p4c22/072-cap-giay-chung-nhan-thanh-vien-luu-ky-sua-doi.htm","Date": "11/07/2011"},{"ArticleId": 6666,"Title": "065: Ủy quyền k&#253; chứng từ lưu k&#253;","Href": "/6666p4c22/065-uy-quyen-ky-chung-tu-luu-ky.htm","Date": "11/07/2011"},{"ArticleId": 6594,"Title": "004: Uỷ quyền k&#253; chứng từ lưu k&#253;","Href": "/6594p4c22/004-uy-quyen-ky-chung-tu-luu-ky.htm","Date": "08/07/2011"},{"ArticleId": 6590,"Title": "048: Đăng k&#253; bổ sung Danh s&#225;ch Ban l&#227;nh đạo phụ tr&#225;ch hoạt động lưu k&#253;","Href": "/6590p4c22/048-dang-ky-bo-sung-danh-sach-ban-lanh-dao-phu-trach-hoat-dong-luu-ky.htm","Date": "07/07/2011"},{"ArticleId": 6567,"Title": "083: Đăng k&#253; bổ sung Danh s&#225;ch Th&#224;nh vi&#234;n Ban gi&#225;m đốc phụ tr&#225;ch hoạt động lưu k&#253;","Href": "/6567p4c22/083-dang-ky-bo-sung-danh-sach-thanh-vien-ban-giam-doc-phu-trach-hoat-dong-luu-ky.htm","Date": "05/07/2011"},{"ArticleId": 6566,"Title": "083: Thay đổi cơ cấu nh&#226;n sự","Href": "/6566p4c22/083-thay-doi-co-cau-nhan-su.htm","Date": "05/07/2011"},{"ArticleId": 6565,"Title": "019: Thay đổi cơ cấu nhận sự","Href": "/6565p4c22/019-thay-doi-co-cau-nhan-su.htm","Date": "05/07/2011"},{"ArticleId": 6564,"Title": "019: Đăng k&#253; bổ sung Danh s&#225;ch Th&#224;nh vi&#234;n Ban gi&#225;m đốc phụ tr&#225;ch hoạt động lưu k&#253;","Href": "/6564p4c22/019-dang-ky-bo-sung-danh-sach-thanh-vien-ban-giam-doc-phu-trach-hoat-dong-luu-ky.htm","Date": "05/07/2011"},{"ArticleId": 6534,"Title": "086: Uỷ quyền k&#253; chứng từ lưu k&#253;","Href": "/6534p4c22/086-uy-quyen-ky-chung-tu-luu-ky.htm","Date": "02/07/2011"},{"ArticleId": 6504,"Title": "008: Đăng k&#253; bổ sung Danh s&#225;ch Th&#224;nh vi&#234;n Ban gi&#225;m đốc chi nh&#225;nh phụ tr&#225;ch hoạt động lưu k&#253;","Href": "/6504p4c22/008-dang-ky-bo-sung-danh-sach-thanh-vien-ban-giam-doc-chi-nhanh-phu-trach-hoat-dong-luu-ky.htm","Date": "29/06/2011"}]}
0

上一篇:

下一篇:

精彩评论

暂无评论...
验证码 换一张
取 消

最新问答

问答排行榜