爬取笔趣看小说

35780289

1. import os, requests, re
   
2. from time import sleep
   
3. from bs4 import BeautifulSoup
   
4. from random import uniform
   
5. 
   
6. 
   
7. # 网址解析
   
8. def url_open(url):
   
9.     headers = {}
   
10.     headers[
    
11.         "User-Agent"] = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36"
    
12.     response = requests.get(url, headers=headers)
    
13.     response.encoding = "gbk"  # 该网站的编码格式：utf-8
    
14.     html = response.text
    
15.     return html
    
16. def replaceNovel(content):
    
17.     #用来进行页面排版，最后还是不太理想，不知道为什么没有向左对齐，第一行移动，下一行也移动
    
18.     temp=content.replace('app2();','',2)
    
19.     mode=r'\(https://www.biqukan.com.+wap.biqukan.com'
    
20.     src=re.sub(mode,'',temp,flags=re.S)
    
21.     final=src.replace('。　　','。\n    ',50)
    
22.     return final
    
23. # 小说内容获取与保存
    
24. def get_and_save_data(novel_url):
    
25.     chapters_url_all=[];
    
26.     html_1 = url_open(novel_url)
    
27.     soup_1 = BeautifulSoup(html_1, "html.parser")
    
28.     nodes=soup_1.dl.find_all("dd")
    
29.     novel_name=soup_1.find(class_="info").h2.text;
    
30.     print(novel_name)
    
31.     flag = False
    
32.     prefix=re.findall(r'(.+)m/',novel_url)[0]
    
33.     prefix=prefix+"m"
    
34.     for node in nodes:
    
35.         url=node.a["href"]
    
36.         text=node.a.text
    
37.         if text[0:3]=='第一章':
    
38.             flag=True
    
39.         if flag is True:
    
40.             chapters_url_all.append(prefix+url)
    
41.     #print(chapters_url_all)
    
42.     # 逐页打开小说章节网址并获取内容保存
    
43.     for each in chapters_url_all:
    
44.         chapters_url =each
    
45.         html = url_open(chapters_url)
    
46. 
    
47.         soup = BeautifulSoup(html, "html.parser")
    
48.         chapters_name = soup.find(class_="content").h1.text  # 抓取章节名称
    
49.         print("正在下载《%s》:%s" % (novel_name, chapters_name))
    
50. 
    
51.         # 小说内容抓取
    
52.         content = soup.find("div", id="content").text
    
53.         contents=replaceNovel(content)
    
54.         #print(contents)
    
55.         with open("%s.txt" % novel_name, "a", encoding="utf-8") as g:
    
56.             g.write("\n" * 3 + "                               " + chapters_name + str("\n") * 3)
    
57.             #g.write("    " + contents)
    
58.             g.write(contents)
    
59.         #break
    
60.         slee_time = uniform(0.35, 0.75)
    
61.         sleep(slee_time)
    
62. 
    
63.     print("小说%s已下载完毕" % novel_name)
    
64.     sleep(2)
    
65. 
    
66. def main():
    
67.     # 设置工作路径
    
68.     path = r'd:\Pythontest'
    
69.     if os.getcwd() != path:
    
70.         if os.path.exists(path) == False:
    
71.             os.mkdir(path)
    
72.             os.chdir(path)
    
73.         else:
    
74.             os.chdir(path)
    
75.     #这个地址取你要爬的小说地址，我在站内搜索结果查不到，只能通过去百度搜小说名，之后进入页面
    
76.     root_url = "https://www.biqukan.com/73_74917/"
    
77.     get_and_save_data(root_url)
    
78. 
    
79. 
    
80. if __name__ == "__main__":
    
81.     main()

复制代码

ngic

谢谢大牛

小宝宝

谢谢分享

Diancheng

谢谢大佬

plmoknijb

好的，非常感谢

x757258580

6666

Dexc

感谢楼主分享