环境

requirements:
BeautifulSoup
selenium(with headless Chrome)
pandas

BeautifulSoup用来解释html，用selenium代替requests进行请求（原因后面会讲到），用pandas存储

搜索页url

打开百度学术输入关键字回车后可以看到当前的url是

http://xueshu.baidu.com/s?wd=自然语言处理&rsv_bp=0&tn=SE_baiduxueshu_c1gjeupa&rsv_spt=3&ie=utf-8&f=8&rsv_sug2=0&sc_f_para=sc_tasktype%3D%7BfirstSimpleSearch%7D

翻页后

http://xueshu.baidu.com/s?wd=自然语言处理&pn=10&tn=SE_baiduxueshu_c1gjeupa&ie=utf-8&sc_f_para=sc_tasktype%3D%7BfirstSimpleSearch%7D&sc_hit=1

很容易发现，实质上请求的url应该是http://xueshu.baidu.com/s?wd=自然语言处理&pn=x（x为条数） 复制进地址框中打开发现跟刚才的是一样的，ok

于是可以根据这个规律来构造要请求的url

# 构造请求url
url = '<http://xueshu.baidu.com/s?wd=自然语言处理&pn=>'
urls = []
for i in range(0, 210, 10):
    urls.append(url + str(i))

详情页url

接下来这一部分就有一些难度了。首先还是老办法用开发者工具看看链接所在的标签 ps：点击开发者工具左上角的鼠标工具可以快速定位页面中的元素！

一开始觉得ok很好办用request做就行贴一下用request的代码

# 请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko)'
                  'Chrome/65.0.3325.162 Safari/537.36'
}
# 请求
html = requests.get(urls[0], headers)
html.encoding = 'utf-8'
soup = BeautifulSoup(html.text, 'lxml')
# print(html.text)

#获取书的详情url
#匹配所有的url
book = soup.find_all(name='a', href=re.compile('/s.*?'),
                     attrs={'target': '_blank', 'data-click': "{'button_tp':'title'}"})
books = []
for item in book:
    book_url = item.get('href')
    books.append('<http://xueshu.baidu.com>' + book_url)
print(books)

这时候确实能够获取到所有的图书详情的url，但是从这个url跳转获得的页面信息是折叠的，无法获得完整的摘要等信息，这是很大的一个坑点。可能是一个简单的反爬机制。

再观察，从页面中获得的url是

http://xueshu.baidu.com/s?wd=paperuri%3A%286d66b7b4d828ef44f558745a76af01c2%29&filter=sc_long_sign&sc_ks_para=q%3D%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86%E6%8A%80%E6%9C%AF%E5%9F%BA%E7%A1%80&sc_us=6796286780419649144&tn=SE_baiduxueshu_c1gjeupa&ie=utf-8

实际点击打开之后的url是

http://xueshu.baidu.com/usercenter/paper/show?paperid=6d66b7b4d828ef44f558745a76af01c2&site=xueshu_se

说明中间还发生了跳转，如果直接请求上一个url不能获得完整的页面信息那如何获得真正的url呢？用selenium

Selenium是啥？ Selenium 测试直接在浏览器中运行，就像真实用户所做的一样。Selenium 测试可以在 Windows、Linux 和 Macintosh上的 Internet Explorer、Chrome和 Firefox 中运行。其他测试工具都不能覆盖如此多的平台。使用 Selenium 和在浏览器中运行测试还有很多其他好处。

selenium和Chromedriver的安装部署可以参考 https://www.cnblogs.com/technologylife/p/5829944.html

然后就可以开始用selenium进行请求了，贴一下代码

from selenium import webdriver
from bs4 import BeautifulSoup
from lxml import etree

# 使用headless Chrome（phantomjs不可用）
option = webdriver.ChromeOptions()
option.add_argument('--headless')
option.add_argument('--disable-gpu')
driver = webdriver.Chrome(chrome_options=option)
driver.set_window_size(1920, 1080)

def get_page(url):
    # 打开网页
    driver.get(url)
    soup = BeautifulSoup(driver.page_source, 'lxml') # 同样用beautifulsoup对html进行处理

    # 得到原始url
    soup = str(soup)
    html = etree.HTML(soup)
    ori_urls_a = html.xpath('//div[@class="sc_content"]/h3/a/@href') # 用xpath进行选择
    ori_urls = []
    for url in ori_urls_a:
        ori_urls.append('<http://xueshu.baidu.com>' + url)

    for url in ori_urls:
        driver.get(url)
        real_url = driver.current_url
        print(real_url)

然后就可以得到真正的url了！

获取图书详情

这一步比较简单，还是用beautifulsoup就行了，贴一下代码

# -*- coding:utf-8 -*-
import requests
import re
from bs4 import BeautifulSoup
from selenium import webdriver

url = '<http://xueshu.baidu.com/usercenter/paper/show?paperid=7a211369a1fe18201be234ffb82622c1&site=xueshu_se>'
# 请求
# 使用headless Chrome
option = webdriver.ChromeOptions()
option.add_argument('--headless')
option.add_argument('--disable-gpu')
driver = webdriver.Chrome(chrome_options=option)
driver.set_window_size(1920, 1080)

def get_book_detail(url):
    # 先访问原url
    driver.get(url)
    soup = BeautifulSoup(driver.page_source, 'lxml')

    flag = 1
    # 先初始化成全局变量
    name = ''
    author_list = []
    abstract = ''
    keyword_list = []
    ref_num = 0

    # 书名
    try:
        name = soup.find(name='a', target='_blank',
                         attrs={'data-click': "{'act_block':'main','button_tp':'title'}"}).text
    except:
        name = None
        flag = 0  # 奇怪的标题 放弃该数据
    finally:
        print(name)

    if (flag == 1):
        # 作者
        # 此处作者需要用class来筛选避免选中下面参考文献中的作者
        try:
            authors = soup.find_all(name='a', target='_blank',
                                    attrs={'data-click': "{'button_tp':'author'}", 'class': ''})
            author_list = []
            for author in authors:
                pattern = re.compile('[\\u4e00-\\u9fa5]{2,4}')  # 正则表达式取出中文名
                author_name = pattern.findall(author.text)[0]
                author_list.append(author_name)
        except:
            authors = None
        finally:
            print(author_list)

        # 摘要
        # 此处需要作异常处理 遇到摘要为空时输出None
        try:
            abstract = soup.find(attrs={'class': 'abstract'}).text
        except:
            abstract = None
        finally:
            print(abstract)

        # 关键词
        try:
            url_pat = re.compile('^http://xueshu.baidu.com/.*?ie=utf-8$')
            keywords = soup.find_all(name='a', target='_blank', attrs={'href': url_pat, 'class': ''})
            for keyword in keywords:
                keyword_list.append(keyword.text)
        except:
            keyword_list = None
        finally:
            print(keyword_list)

        # 被引量
        ref = soup.find(name='a', target='_blank', attrs={'class': "sc_cite_cont"}).text
        ref_pat = re.compile('[0-9]{1,4}')
        ref_num = ref_pat.findall(ref)[0]
        print(ref_num)
    else:
        print("SKIPPED")

    return {'name': name, 'authors': author_list, 'abstract': abstract, 'keyword': keyword_list, 'ref': ref_num}

if __name__ == '__main__':
    get_book_detail(url)

PS： 要注意其中有一些信息可能会为空，因此需要做异常处理，保证脚本能够一直跑下去，同时跳过一些奇怪的数据。

pandas存储

最后，将数据用pandas存成csv或者xsl。 pandas的使用可以参考官方手册或者 https://blog.csdn.net/weixin_41666747/article/details/80249548 （简单版）

主要是Series（序列）和Dataframe（数据帧）两种数据结构了解到只需要用列表嵌套字典的方法将数据传进去，用pd.DataFrame方法就可以将数据转换成一个二维数据结构。

最后步骤比较简单，贴下代码

import pandas as pd

res = []
for url in urls:
    res += bd.get_page(url)

columns = ['name', 'authors', 'abstract', 'keyword', 'ref']
df = pd.DataFrame(res, columns=columns)

df.to_excel('b.xls', encoding='utf-8') # xsl
df.to_csv('b.csv', encoding='utf-8') # csv

PS: 最后指定encoding=utf-8可以避免一些编码上的问题（习惯），但是直接保存为csv之后用Excel打开可能会出现乱码，这时候只需要用记事本打开csv然后另存为，选择utf-8再用Excel打开就可以正常显示了。

阿猫的博客

阿猫的博客

selenium+beautifulsoup+pandas爬取百度学术

环境

搜索页url

详情页url

获取图书详情

pandas存储

赞助

分享