在爬虫的爬取过程当中，会出现一些无法直接访问的页面，这些页面一般需要用户登录之后才能获取完整数据，在这种情况下，作为爬虫的使用者就需要面对这个问题。

怎么解决呢?

 

一般来说，有两种方法：

 

一、手动输入

二、自动输入

在一些网站当中，我们只需要在一开始登录账号之后，就可以不用再管，像这种网站，就适合手动输入，一次输入，不需要再次调整。

 

不过，有时爬虫会遇到一些网站，这些网站信息的获取都需要登录之后才能获取，这种情况下就需要使用爬虫设置自动登录了。

 

那自动登录该怎么设置？

 

在设置自动登录之前，需要先获取登录后的 cookie。

 

什么是 cookie？

 

cookie就是某些网站为了辨别用户身份，进行Session跟踪而储存在用户本地终端上的数据，由用户客户端计算机暂时或永久保存的信息。

 

当服务器接收到复数的请求时，是无法判断出哪些请求是由同一个客户端发起的。于是就需要读取cookie来标识客户端的身份，以存储它的信息，比如登录状态等。cookie 保存在发起请求的客户端中，服务器利用cookie来区分不同的客户端。

 

用通俗的话来讲, cookie 就是网站验证用户的一张身份证。用户持有的这张身份证在登录时供访问网站查看。

 

为了实现自动登录的目的，我们就需要获取登录时的 cookie 进行解析。

 

如何获取 cookie ？

 

　　在访问被爬取网站时，先使用浏览器登录。再打开开发者工具，转到network选项卡。在左边的Name一栏找到当前的网址，选择右边的Headers选项卡，查看Request Headers，这里包含了该网站颁发给浏览器的cookie。

就像上图中 cookie ，后面有我们登录时用的 ID 信息，和各种我们自动登录时所用的信息。

 

得到 cookie 之后，就可以进行进一步处理，将 cookie 中的信息处理成字符串，供下一步处理。代码如下：

 

import requests

import sys

import io

 

sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf8')

#改变标准输出的默认编码

 

#登录后才能访问的网页

url = 'http://xxxx.com/cmstar/index.portal'

 

#浏览器登录后得到的cookie，也就是刚才复制的字符串

cookie_str = r'JSESSIONID=xxxxxxxxxxxxxxxxxxxxxx; iPlanetDirectoryPro=xxxxxxxxxxxxxxxxxx'

 

#把cookie字符串处理成字典，以便接下来使用

cookies = {}

for line in cookie_str.split(';'):

key, value = line.split('=', 1)

cookies[key] = value

 

#设置请求头

headers = {'User-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'}

 

#在发送get请求时带上请求头和cookies

resp = requests.get(url, headers = headers, cookies = cookies)

 

print(resp.content.decode('utf-8'))

 

在设置好之后，就可以进行下一步。

 

用session保持登录状态

 

session 在计算机中，尤其是在网络应用中，被称为“会话控制”。Session对象存储特定用户会话所需的属性及配置信息。这样，当用户在应用程序的Web页之间跳转时，存储在Session对象中的变量将不会丢失，而是在整个用户会话中一直存在下去。

 

用通俗的说法就是，session可以用户保持在登录状态，让服务器认为它一直在和客户端对话，从而保证了爬虫在爬取数据的过程中，登录状态的保证。

 

这一步骤只需要在上述的代码当中添加一段代码即可，代码如下：

 

#登录时需要POST的数据

data = {'Login.Token1':'账号',

'Login.Token2':'密码',

'goto:http':'//xxxxx.com/loginSuccess.portal',

'gotoOnFail:http':'//xxxxx.com/loginFailure.portal'}

 

#设置请求头

headers = {'User-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36'}

 

#登录时表单提交到的地址（用开发者工具可以看到）

login_url = 'http://xxxxx.com/userPasswordValidate.portal'

 

#构造Session

session = requests.Session()

 

#在session中发送登录请求，此后这个session里就存储了cookie

#可以用print(session.cookies.get_dict())查看

resp = session.post(login_url, data)

 

#登录后才能访问的网页

url = 'http://ssfw.xmu.edu.cn/cmstar/index.portal'

 

#发送访问请求

resp = session.get(url)

 

print(resp.content.decode('utf-8'))

 

这样就可以在使用爬虫的过程中，让其自己登录所爬的网站，并获取数据了

编程语言（programming language）是一种被标准化的交流技巧，用来向计算机发出指令，定义计算机程序，让程序员能够准确地定义计算机所需要使用的数据，并精确地定义在不同情况下所应当采取的行动的一种计算机语言。