现在有3000条数据，需要插入到数据库中去，使用的是对链接进行MD5加密，
hashcode = md5(str(item_url))
然后在数据库中设置 hashcode 为UNIQUE索引 3000条数据全部插入完毕，耗时是32s 不使用MD5加密，耗时30秒。 结论：去重对时间影响不大
现在有3000条数据，需要插入到数据库中去，使用的是对链接进行MD5加密，
hashcode = md5(str(item_url))
然后在数据库中设置 hashcode 为UNIQUE索引 3000条数据全部插入完毕，耗时是32s 不使用MD5加密，耗时30秒。 结论：去重对时间影响不大