《Python》即不咳嗽的图片后不咳嗽的小说来了

無常

本次是在网上看到一些小说就感觉可以爬取下来 至于什么小说你们自己脑补 总共8个分类 一个分类750条数据
emmm 先发一个小说 下午发一个图片的 仅仅只是为了学习知识 请勿用于其他用途
本软件仅提供学习用途，请勿商用以及传播，请在下载24小时内删除

教程：打开输入要保存到那个位置的路径就可以了

成品下载：

游客，如果您要查看本帖隐藏内容请回复

源码：

1. # UTF-8
   
2. # author mimang
   
3. 
   
4. import requests
   
5. from bs4 import BeautifulSoup
   
6. import os
   
7. 
   
8. def getHtml(url):
   
9.     response = requests.get(url, headers=headers)
   
10.     response.encoding = 'utf-8'
    
11.     html = BeautifulSoup(response.text, 'lxml')
    
12.     return html
    
13. 
    
14. def sub(strings, p, c):
    
15.     new = []
    
16.     for s in strings:
    
17.         new.append(s)
    
18.     new[p] = str(c)
    
19.     return ''.join(new)
    
20. 
    
21. headers = {
    
22.     'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36',
    
23.     'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    
24.     'Accept-Encoding': 'gzip, deflate, br',
    
25.     'Cookie': 'UM_distinctid=174a9141007f29-0697ac1aa46086-3971095d-19fd10-174a9141008cbb; CNZZDATA1279234273=1349150808-1600561283-%7C1600561283'
    
26. }
    
27. 
    
28. url = 'xxxxxxxx'
    
29. bookCount = 38
    
30. 
    
31. path = input('输入:')
    
32. if not(os.path.exists(path)):
    
33.     os.mkdir(path)
    
34.     print('路径已创建')
    
35. 
    
36. html = getHtml(url + '/home/index.html')
    
37. allBookUrl = html.select('#menu > ul.color > li > a')
    
38. print(len(allBookUrl)) #图书分类数量
    
39. os.chdir(path)
    
40. for a in range(1,len(allBookUrl)): #8
    
41.     if not(os.path.exists(allBookUrl[a].get_text())):
    
42.         os.mkdir(allBookUrl[a].get_text())
    
43.     os.chdir(allBookUrl[a].get_text())
    
44.     for b in range(1,bookCount+1): #38
    
45.         string = allBookUrl[a].get('href')
    
46.         print(sub(string,21,b))
    
47.         bookHtml = getHtml(url + sub(string,21,b))
    
48.         bookList = bookHtml.select('#hellobox > div.newslist.textlist > ul > li > a')
    
49.         for c in range(0, len(bookList)): #20
    
50.             bookTitle = bookList[c].get_text()
    
51.             bookUrl = bookList[c].get('href')aa
    
52.             bookHtml2 = getHtml(url+bookUrl)
    
53.             bookContent = bookHtml2.select('#hellobox > div.newsbody > div.nbodys')[0].get_text()
    
54.             f = open(bookTitle+'.txt','ab')
    
55.             f.write(bytes(bookContent, encoding = "utf8"))
    
56.             print(bookTitle+':成功')
    
57. f.close()

复制代码

Pulls

6666

copperfiled

谢谢大牛

爱是你我

6666666666

dragonkin

感谢楼主分享

wangguanjie1989

谢谢分享

Gigithome

顶帖是一种态度，也是一种尊重。

835716553

谢谢大佬

37171

好的，非常感谢

裙子底下是猛兽

感谢楼主分享！大牛有你更精彩！