前言

闲的无聊，现在没得什么好剧追（你们或许可以给我推荐推荐）

朋友都在看小说，那我就来用Python搞一个小说下载器吧

顺便打包一下

实现步骤

爬虫基本四个步骤:

采集一章小说内容

1. 发送请求, 模拟浏览器对于url地址发送请求
   小说章节链接:

https://***不屏蔽不给过.com/book/5613/4217210.html

2. 获取数据, 获取网页源代码

3. 解析数据, 提取我们想要的数据内容

   小说章节名
   小说内容

4. 保存数据, 把小说内容本地文件 txt

实现代码

导入数据请求模块

源码.点击领取即可

import requests

导入数据解析模块

import parsel

导入正则

import re

# 导入格式化打印

import prettytable as pt

导入进度条

from tqdm import tqdm

请求头 字典数据类型, 构建完整键值对

headers = {# user-agent 用户代理 表示浏览器基本身份信息'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
}def get_response(html_url):

• 发送请求, 模拟浏览器对于url地址发送请求

python学习交流Q群：309488165 ### 源码领取自定义函数:def 关键字 定义函数get_response 函数名 自定义html_url 形式参数:param html_url: 给个网址就可以了:return:response 返回响应对象模拟浏览器对于url地址发送请求headers 请求头 --> 可以直接复制粘贴"""# 发送请求response = requests.get(url=html_url, headers=headers)# return 关键字 返回 response 响应对象#  响应对象 表示请求成功return response

• 获取小说名字 / 小说章节url

def get_novel_info(novel_url):"""获取小说名字 / 小说章节url:param novel_url: 小说目录页url地址:return:"""# 发送请求, 获取网页源代码html_data = get_response(html_url=novel_url).text# 把获取下来 html字符串数据 , 转成可解析对象selector = parsel.Selector(html_data)# 提取小说名字name = selector.css('.novel_info_title h1::text').get()# 提取小说章节url  attr 属性选择器, 提取标签里面属性内容link_list = selector.css('.chapter_list a::attr(href)').getall()# https://ssbiqu.com/book/5613/4217210.html  列表推导式link_list = ['https://ssbiqu.com' + i for i in link_list]return name, link_list

• 获取小说内容函数

def get_content(html_url):获取小说内容函数:param html_url: 形参 传入小说章节url地址:return: 章节名 / 小说内容"""# 调用前面定义好的发送请求函数response = get_response(html_url=html_url)# 获取网页源代码, html字符串数据# print(response.text)

解析提取, 小说章节名, 以及小说内容

       - 根据标签属性提取数据内容1. 小说章节名字 .style_h1 定位标签get() 获取第一个标签内容 相当于获取一个, 返回字符串getall() 获取所有标签内容, 返回列表

把获取下来

html字符串数据 , 转成可解析对象

selector = parsel.Selector(response.text)

提取标题

title = selector.css('.style_h1::text').get()

提取内容

content_list = selector.css('#article>p::text').getall()

保存文字, 保存字符串数据

所有要把 列表转成字符串数据类型

列表转成字符串数据类型?for 遍历提取列表里面元素str 强制转换数据类型str.join() 把列表合并为字符串'\n'.join(content_list) 以换行符, 把列表里面元素一个一个合并起来变成一个字符串"""content = '\n'.join(content_list)

返回标题, 小说内容

return title, content

保存函数

def save(name, title, content):"""保存函数:param title: 小说章节名:param content: 小说内容:return:"""# # replace 字符串替换, 把 / 替换成 -# title = title.replace('/', '-')  保存 a 追加 w 写入会覆盖with open(name + '.txt', mode='a', encoding='utf-8') as f:f.write(title)f.write('\n')f.write(content)f.write('\n')

搜索函数

def search(word):"""搜索函数:param word: 小说名:return:"""search_url = 'https://ssbiqu.com/search/'data = {'searchkey': word}search_data = requests.post(url=search_url, data=data, headers=headers).textnovel_id_list = re.findall('', search_data)name_list = re.findall('
(.*?)(.*?)(.*?)
', search_data)name_list = [''.join(j) for j in name_list]# 仅匹配中文writer_list = re.findall(' .*?(.*?)  ', search_data)writer_list = [z.replace('', '').replace('', '') for z in writer_list]tb = pt.PrettyTable()tb.field_names = ['序号', '书名', '作者', '书ID']page = 0novel_info_list = []for novel_id, name, writer in zip(novel_id_list, name_list, writer_list):dit = {'书名': name,'作者': writer,'书ID': novel_id,'信息': '系统课程报名加婧琪老师微信: python1018'}print(dit)novel_info_list.append(dit)tb.add_row([page, name, writer, novel_id])page += 1print(tb)num = input('请输入你想要下载小说序号: ')novel = novel_info_list[int(num)]['书ID']return novel

ef main(word):"""主函数:return:"""novel_id = search(word)# 小说目录页 https://ssbiqu.com/book/5613/url = f'https://ssbiqu.com/book/{novel_id}/'# 获取小说名字name, link_list = get_novel_info(novel_url=url)# for循环遍历 提取内容for link in tqdm(link_list):# 获取小说内容title, content = get_content(html_url=link)save(name, title, content)