爬虫_网页url设计

为什么需要网页URL设计？

每个url不同的结构代表着不同的网页模块和信息的展现形式，为了方便维护与管理

网页url怎么设计？

分层： 主域名，子域名

一般形式为：

　　　　　　　　　　　　主域名:  www.job.com

子域名  head.job.com       bolg.job.com

子子域名  head.job.com/home   head.job.com/img    bolg.job.com/page/123

为啥要分析url设计？

可以方便并且直接的找到自己想要的所有内容，更加有效