如何获取一个网站的产品列表

小弟我现在有这么个需求，我现在有7,8种新药品要发布，在发布之前我需要到一个公共的医药网站去查一下他们网站有没有类似的药品，比如他们有个搜索框。而我现在就是想能不能通过程序获取到这个搜索框，或者说他们所有的产品列表。然后我拿我的药名去遍历。请问这个方法行得通吗？如果可以，请教给我怎么办。如果不行，请问大神们有没有别的方法。小弟在这里先谢谢了！

17 个解决方案

#1

可以，但你要解析那个网站搜索结果的html，比较麻烦，如果它们提供RSS什么的那就方便多了

#2

打开他们公司产品页面,获取网页源码,解析html.
同意楼上的方法.

#3

如何解析Html？求详解，我刚才仔细看了下，的确那个网站没有提供RSS，我把那个搜索页面另存为网页就可以看到里面搜索按钮的方法了吗？提供给你网址，帮忙看下能不能解析吧？ http://app1.sfda.gov.cn/datasearch/face3/base.jsp?tableId=25&tableName=TABLE25&title=国产药品&bcId=124356560303886909015737447882

引用 1 楼 webdiyer 的回复:

可以，但你要解析那个网站搜索结果的html，比较麻烦，如果它们提供RSS什么的那就方便多了

#4

通常这种方法都用 ajax 实现,主要采用 MSXML2.XMLHTTP 组件完成.

#5

搜索框会对应一个结果页面的，你应该试试那个结果页面能不能传参，能传参就简单了，传参之后抓取页面的html,然后就可以得到你想到的结果了

#6

我以前做过一个,获取某大型网站股票利好消息的demo,有兴趣联系我,给你做参考.

#7

不能传，我试过了

引用 5 楼 khjian 的回复:

搜索框会对应一个结果页面的，你应该试试那个结果页面能不能传参，能传参就简单了，传参之后抓取页面的html,然后就可以得到你想到的结果了

#8

可以复用吗？发我邮箱吧！[e-mail]，谢谢~

引用 6 楼 unicorn_dsx 的回复:

我以前做过一个,获取某大型网站股票利好消息的demo,有兴趣联系我,给你做参考.

#9

该回复于2013-09-05 16:47:50被管理员删除

#10

引用 7 楼 dengshibin1989 的回复:

不能传，我试过了

Quote: 引用 5 楼 khjian 的回复:

搜索框会对应一个结果页面的，你应该试试那个结果页面能不能传参，能传参就简单了，传参之后抓取页面的html,然后就可以得到你想到的结果了

站外的数据都传不过去？

#11

你试试，它查询的结果直接就在本页面显示出来了 http://app1.sfda.gov.cn/datasearch/face3/base.jsp?tableId=25&tableName=TABLE25&title=国产药品&bcId=124356560303886909015737447882

引用 10 楼 khjian 的回复:

Quote: 引用 7 楼 dengshibin1989 的回复:

不能传，我试过了

Quote: 引用 5 楼 khjian 的回复:

搜索框会对应一个结果页面的，你应该试试那个结果页面能不能传参，能传参就简单了，传参之后抓取页面的html,然后就可以得到你想到的结果了

站外的数据都传不过去？

#12

引用 11 楼 dengshibin1989 的回复:

你试试，它查询的结果直接就在本页面显示出来了 http://app1.sfda.gov.cn/datasearch/face3/base.jsp?tableId=25&tableName=TABLE25&title=国产药品&bcId=124356560303886909015737447882

Quote: 引用 10 楼 khjian 的回复:

Quote: 引用 7 楼 dengshibin1989 的回复:

不能传，我试过了

Quote: 引用 5 楼 khjian 的回复:

搜索框会对应一个结果页面的，你应该试试那个结果页面能不能传参，能传参就简单了，传参之后抓取页面的html,然后就可以得到你想到的结果了

站外的数据都传不过去？

 ajax啊，这个站的数据应该是变化的吧，不停的在增加是吧？

#13

哥们，我提供给你一个思路把。。用正则表达式去偷把。不是很难的。做个小偷用正则表达式。

#14

该回复于2013-09-07 17:08:50被管理员删除

#15

该回复于2013-09-07 17:21:44被管理员删除

#16

该回复于2013-09-09 10:40:22被管理员删除

#17

做个爬虫程序，把他们的数据抓回来然后再和自己的数据对比就OK啦