新聞中心
這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷解決方案
使用python爬蟲(chóng)怎么處理有密碼的網(wǎng)站-創(chuàng)新互聯(lián)
小編給大家分享一下使用python爬蟲(chóng)怎么處理有密碼的網(wǎng)站,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
步驟一:查看要爬取的網(wǎng)站信息
進(jìn)入登錄頁(yè)面 。你會(huì)看到如下圖所示的頁(yè)面。
然后進(jìn)行查看元素,查看到name、password,最終我們得到以下內(nèi)容
payload = { "username": "", "password": " ", "csrfmiddlewaretoken": " " }
步驟二、配置網(wǎng)站登錄設(shè)置
創(chuàng)建一個(gè)登錄對(duì)象。
session_requests = requests.session()
設(shè)置一個(gè)登錄的url
result = session_requests.post( login_url, data = payload, headers = dict(referer=login_url) )
步驟三、爬取信息內(nèi)容
到了這個(gè)步驟,我們已經(jīng)成功進(jìn)行登錄了,用以下方式進(jìn)行爬取:
url = '鏈接' result = session_requests.get( url, headers = dict(referer = url) )
以上是“使用python爬蟲(chóng)怎么處理有密碼的網(wǎng)站”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對(duì)大家有所幫助,如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!
本文標(biāo)題:使用python爬蟲(chóng)怎么處理有密碼的網(wǎng)站-創(chuàng)新互聯(lián)
標(biāo)題URL:http://www.ef60e0e.cn/article/echjo.html