python实现并行爬虫

【文件属性】：
文件名称：python实现并行爬虫
文件大小：834KB
文件格式：ZIP
更新时间：2018-09-27 13:56:58
python urllib 爬虫 指定爬虫depth、线程数， python实现并行爬虫

【文件预览】：
spider
----output()
--------2bcb52e1b15ce041598f890370ef9694.png(20KB)
--------db7db4f6726b154f6a744c3d3c7a329d.jpg(3KB)
--------48b1cb0b91d61f0a58cd7780b2331ab3.jpg(5KB)
--------e07014795065b673cc585c29e7368551.jpg(4KB)
--------675409ded25aa5b2a79c189fb12045e2.jpg(5KB)
--------d4fc933fa19565d628ff62d1dd76b783.png(14KB)
--------504fb102612271c388cb87679393d36d.jpg(6KB)
--------f229c29a1167269eae674df6f75e553e.jpg(5KB)
--------cb221b28dbebb073804df9d9093720e0.jpg(8KB)
--------af7292dfebfe63c90f7f968e56f85872.jpg(8KB)
--------67313f9a53db34d9e837a0edbd88286e.png(5KB)
--------d7b2aa33ed64c336bb7dd5c1bfed4d81.jpg(10KB)
--------e79f1184f8caab5edc3506adc122ba9e.jpg(11KB)
--------ebbce564b79228c3fa44d880dc4f6bf3.jpg(358KB)
--------27ecfbf1cffff7aa008bfae5a3a1fe0e.jpg(6KB)
--------1ef2da30f9ac474d736b9fa235ee580f.jpg(6KB)
--------1368c78c635dafd0890cf9a144b279f8.jpg(17KB)
--------6f4a047684c7562a495611043a5c60f6.jpg(3KB)
--------092303de06f2a1bce554afe1d595a76b.jpg(5KB)
--------38d2ff8a74804e0b15fbbc52f1e4402e.jpg(12KB)
--------6094bc38521b1990fc7c3b9e0c0abe18.png(17KB)
--------c627ac5525d4426138d177f3f48694c6.jpg(11KB)
--------3db92ab8ad4a0f1127003399698a4850.jpg(11KB)
--------0d60319209ecb07398ab7efa76b6a7c2.png(17KB)
--------8869c197f95402bf81d0a22894e33018.jpg(1KB)
--------f2763465ab51780c0a7dbbca336d0528.jpg(8KB)
--------69a47ef79ee64cf53bfa824a2185c1a9.png(17KB)
--------4d18dca54eb8b215ae34c2f046f84582.jpg(8KB)
--------25552605e478c42f796cd14b6a72146f.jpg(3KB)
--------c288dd022e87543d1abc2bc3e00fe561.jpg(8KB)
--------f28bbd51e997423bc2f00d47f980940b.jpg(5KB)
--------d5353b782c21652a31fb5b61b6f985e1.jpg(6KB)
--------68a1c282b12d03a9fcb9807637a47124.jpg(12KB)
--------6d2e7a042f1f5d43d4d1eb6edab1f593.jpg(5KB)
--------fbd4764b464afa9f4fd7c82e0a44d807.jpg(4KB)
--------10723704e2f47141aa211bb80470212c.jpg(4KB)
--------8e4f9b42765894fe3067b0cf9784f363.jpg(6KB)
--------baf50b23ca2c6b4efa436cecb6e8891a.jpg(4KB)
--------287f2a2f7786cec927134e0351f955c2.jpg(6KB)
--------a6e00eb36c65b4a0b7cff6e789db802e.png(7KB)
--------67fd0d76a5e048b26767dcf7356bf13e.jpg(7KB)
--------fd72f395903e84464b4d11080f07d652.gif(49B)
--------a8d39fb1cc3c5b931f12f8d3392c2a4e.jpg(11KB)
--------6c86c22475b940a722e929074a073842.jpg(3KB)
--------729641f7beeb1d8affa3172bda004081.png(21KB)
--------562f99e53900ebcfd2ca05a68586fb5c.jpg(8KB)
--------d358722302315be8a234193f42292f3c.jpg(8KB)
--------0e67d97b2c03219fa4f3a0c726a2b8b1.jpg(11KB)
--------6e8167b0726913401a8bdf17c4197a2d.jpg(4KB)
--------c476d1f283e6d305211fded615ce877b.png(6KB)
--------d34fd18c554f1804c6f03da4b4eaac9a.png(20KB)
--------851589cefba20bc077c6bd99aca44427.jpg(5KB)
--------e7021526de0580cf2971b863430fee86.jpg(13KB)
--------e2335d6a2c43878101f8df5cc8114ed3.jpg(11KB)
--------fc79f156ed77f7471b2f4399c9ce3e9f.jpg(12KB)
--------c6e91bf217d115f44ddbc8be6b7e1e1d.jpg(6KB)
--------5dcccc561961c297f07fcfd580bb8ebd.jpg(5KB)
--------89321d24b683285ee014f1e9b50d400f.jpg(3KB)
--------1c1e9ccb7bc8a4cd4e25372d2995f6af.gif(44B)
----a.conf(164B)
----fetcher.py(4KB)
----testSpider.py(2KB)
----.idea()
--------misc.xml(1KB)
--------spider.iml(284B)
--------workspace.xml(41KB)
--------vcs.xml(164B)
--------.name(6B)
--------modules.xml(264B)
----spider.py(5KB)
----MyHtmlParser.py(1KB)
----urls(66B)