Python零基础爬取网页数据并导出Excel_wohaipagui的博客

1.Python环境搭建

Python安装包下载

Python安装

开发工具 pycharm

谷歌驱动，需要下载自己对应版本

2.代码说明

from selenium import webdriver  # 用来驱动浏览器的
import time

import xlwt

# 声明两个驱动（由于要反复抓两个页面）
driver = webdriver.Chrome(r'H:\chromedriver_win32\chromedriver.exe')
driver2= webdriver.Chrome(r'H:\chromedriver_win32\chromedriver.exe')

# 声明导出Excel 方法 name：导出excel名称   result：需要导出的数据，二维数组
def write_data_to_excel(name, result):
    # 将sql作为参数传递调用get_data并将结果赋值给result,(result为一个嵌套元组)
    result = result
    print
    result
    # 实例化一个Workbook()对象(即excel文件)
    wbk = xlwt.Workbook(encoding='utf-8')
    # 新建一个名为Sheet1的excel sheet。此处的cell_overwrite_ok =True是为了能对同一个单元格重复操作。
    sheet = wbk.add_sheet('Sheet1', cell_overwrite_ok=True)
    titlelist = ['姓名', '工作单位', '专业方向', '联系电话']
    for i in range(len(result)):
        # 对result的每个子元素作遍历，
        if i == 0:
            for x in range(len(titlelist)):
                sheet.write(0, x, titlelist[x])
        for j in range(len(result[i])):
            y = i + 1
            # 将每一行的每个元素按行号i,列号j,写入到excel中。
            print
            result[i][j]
            sheet.write(y, j, result[i][j])
    # 以传递的name+当前日期作为excel名称保存。
    wbk.save(name+'.xls')


try:
    #要抓取的网页路径
    driver.get('http://www.xjtu.edu.cn/zmjs_tcgx.jsp?urltype=tree.TreeTempUrl&wbtreeid=1188&wbxjtucategoryid=39&wbtcflname=国家有突出贡献的专家及中青年专家')

    # 获取页面元素
    tbody=driver.find_element_by_xpath("//td[@class='sublist']/table")
    tr=tbody.find_elements_by_tag_name('tr')
    list = []

    # 封装需要导出的数据
    for index in range(len(tr)):
        if index>0:
            trDetail=tr[index]
            tdList=trDetail.find_elements_by_tag_name('td')
            detail = []
            detail.append(tdList[0].text)
            detail.append(tdList[1].text)
            detail.append(tdList[2].text)
            try:
                a=driver.find_element_by_xpath("//td[@class='sublist']/table/tbody/tr[" + str(index+1) + "]/td[1]/a")
                links =a.get_attribute("href")
                driver2.get(links)
                tel=driver2.find_element_by_xpath("//div[@class='jiaoshi']/div[12]").text
                tel=tel.split( )
                if tel[0]!='联系电话：':
                    detail.append(tel[0])
                    list.append(detail)
            finally:
                continue
    write_data_to_excel("西安交通大学国家有突出贡献的专家及中青年专家",list)


    print(list)
    time.sleep(3)

finally:
    driver.close()