admin

【原创】关于Python爬虫urllib库的学习(二)
urlparse和urlsplit用法:有时候拿到一个url,想对这个url各个组成部分进行分割,那么这个时候就可...
扫描右侧二维码阅读全文
26
2019/01

【原创】关于Python爬虫urllib库的学习(二)

urlparse和urlsplit用法:
有时候拿到一个url,想对这个url各个组成部分进行分割,那么这个时候就可以用urlparseurlsplit进行分割操作了,实例如下:

from urllib import parse

url = "http://www.baidu.com/s?usernaem=Scrooge"
#urlparse用法和urlsplit想法基本相同,urlparse可获取params属性,而urlsplit则获取不到。
result = parse.urlparse(url)
#urlparse用法和urlsplit想法基本相同,urlparse可获取params属性,而urlsplit则获取不到。
#resul = parse.urlsplit(url)

print("scheme",result.scheme)
print("netloc",result.netloc)
print("path",result.path)
print("params"result.params)
print("query",result.query)
print("fragment",result.fragment)

需要注意的地方已经在代码地方添加注释#,一般urlparse获取的params属性在爬虫中几乎很少用到,所以和urlparseurlsplit用法基本相同,当然,想学习更多的也是有必要记住这两个模块的功能区别,毕竟没什么用的话Python作者(追求简洁主义)也不会将这个功能添加进来。


扫描二维码,在手机上阅读!
Last modification:January 26th, 2019 at 07:09 pm
If you think my article is useful to you, please feel free to appreciate

Leave a Comment