新手实战写的小说爬取【新笔趣阁】

绿竹

刚学习python 今天实践一下，因为个人比较喜欢看小说就写了一个新笔趣阁的爬虫
望大佬指点，因为还没学多线程所以是个单线程的
看了一下其他人的帖子，我又添加了从中间某一章开始下载的功能

1. import os
   
2. import re
   
3. 
   
4. import requests
   
5. 
   
6. headers = {
   
7.     'User-Agent': ' Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36',
   
8.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36 OPR/72.0.3815.400',
   
9.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
   
10. 
    
11. }
    
12. # 书名存储变量
    
13. name = ''
    
14. zhang = 0
    
15. 
    
16. 
    
17. def get_urls(url):
    
18.     # 请求网址
    
19.     html = requests.get(url, headers=headers)
    
20.     # 指定页面编码
    
21.     html.encoding = html.apparent_encoding
    
22.     # 用正则获取章节URL
    
23.     reg = r"<dd><a href='(.*?)' >(.*?)</a></dd>"
    
24.     urls = re.findall(reg, html.text)
    
25.     # 用正则获取章节名
    
26.     reg2 = r"<h1>(.*?)</h1>"
    
27.     name = re.findall(reg2, html.text)
    
28.     return urls, name
    
29. 
    
30. 
    
31. def download_book(urls, zhang):
    
32.     # 循环输出章节URL
    
33.     for url in urls[zhang:]:
    
34.         # 章节URL
    
35.         bookUrl = url[0]
    
36.         # 获取到的URL如下：/10/10489/4535761.html 所以要拼接一下
    
37.         bookUrl = 'http://www.xbiquge.la' + bookUrl
    
38.         bookTitle = url[1]
    
39.         # 删除章节标题中可能影响创建文件的符号如：*?:/\\<>|
    
40.         bookTitle = re.sub('[*?:/\\<>|]', '', bookTitle)
    
41.         # 抓取每一章节内容
    
42.         chapter = requests.get(bookUrl, headers=headers)
    
43.         chapter.encoding = chapter.apparent_encoding
    
44.         chapter_reg = r'<div id="content">(.*?)<p><a href='
    
45.         chapter_content = re.findall(chapter_reg, chapter.text)
    
46.         # 转化list为str
    
47.         data = str(chapter_content)
    
48.         # 替换章节内容中的字符
    
49.         data = re.sub('[\r\[\]]', '', data)
    
50.         data = data.replace(' ', ' ').replace('<br />', '').replace('\\r\\r', '').replace('\'', '')
    
51.         # 将数据写入文档
    
52.         print("正在下载：%s" % bookTitle)
    
53.         with open('./Books/' + name + '/{}.txt'.format(bookTitle), 'w+', encoding='gbk') as f:
    
54.             f.write(data)
    
55.             f.close()
    
56. 
    
57. 
    
58. def mkdir(name):
    
59.     folder = os.path.exists('Books\\' + name)
    
60.     if not folder:  # 判断是否存在文件夹如果不存在则创建为文件夹
    
61.         os.makedirs('Books\\' + name)  # makedirs 创建文件时如果路径不存在会创建这个路径
    
62.         print('文件夹不存在，已创建')
    
63.     else:
    
64.         print('文件夹存在')
    
65. 
    
66. 
    
67. if __name__ == '__main__':
    
68.     print("书籍ID由新笔趣阁：www.xbiquge.la 提供")
    
69.     bookId = input("请输入书籍ID:")
    
70.     url = 'http://www.xbiquge.la/1/'
    
71.     url = url + bookId + '/'
    
72.     # url = 'http://www.xbiquge.la/1/1618'
    
73.     zhang = int(input("请输入开始章节:"))
    
74.     zhang = zhang - 1
    
75.     urls = get_urls(url)[0]
    
76.     name = get_urls(url)[1]
    
77.     name = str(name)
    
78.     name = name.replace("['", "").replace("']", "")
    
79.     mkdir(name)
    
80.     download_book(urls, zhang)

复制代码

ouyangcw

多谢楼主分享

lmrbaba

谢谢大佬分享

spring2272

感谢楼主分享

握紧她的胸

楼主牛逼

pjxl521

谢谢分享

dingxiaohe

感谢分享，谢谢提供分享

m769219501

谢谢分享！

3382905562

多谢分享多谢分享

kakukk

6666666666