89028901 发表于 2021-1-28 04:19

某企查数据爬取python版

# -*- coding: utf-8 -*-
import requests
import json
import urllib
import re
from faker import Faker
fake = Faker()
header={'User-Agent': fake.user_agent()}

name = input("请输入公司名称")

data = urllib.parse.quote(str(name))

url = 'https://aiqicha.baidu.com'
url1='https://aiqicha.baidu.com/s?q='+data+'&t=0'

s= requests.Session()
res1 = s.get(url = url,headers =header)
res2 = s.post(url = url1,headers =header)

pattern = 'pid\":\"(\d{14})'
rel = re.findall(pattern,res2.text)

detail_url='https://aiqicha.baidu.com/detail/basicAllDataAjax?pid='+rel#只爬第一个，想要爬取的话加循环
res3 = s.get(url= detail_url,headers = header)
res3.text.encode('utf-8').decode('unicode_escape')
result = json.loads(res3.text) #返回的企业信息JSON串可以根据自己需要提取

yjymlsz 发表于 2021-1-28 05:31

感谢楼主分享

死性不改 发表于 2021-1-28 06:10

谢谢大佬分享

tan56074610 发表于 2021-1-28 08:08


支持楼主，谢谢分享。

x1519137457 发表于 2021-1-28 08:26

多谢楼主分享

yukobe31 发表于 2021-1-28 08:27

6666

今心 发表于 2021-1-28 08:39

感谢大佬的分享，必须支持

马了顶大 发表于 2021-1-28 10:03

谢谢分享

yueji 发表于 2021-1-28 10:25

6666666666

爱你老哥 发表于 2021-1-28 10:51

多谢分享多谢分享
页: [1] 2
查看完整版本: 某企查数据爬取python版