1. 博客
  2. 爬虫技术
  3. 帖子详情

上海市企业(市场主体)数据名录爬取采集


上海事企业(市场主体)数据爬取采集,公司数据收集,数据提供平台。

    2019年全年上海市新设立各类市场主体43.15万户。其中,新设企业36.76万户;新设个体工商户6.35万户;新设农民专业合作社349户。日均新设企业1476户。至年末,上海市共有各类市场主体270.43万户。其中,企业220.77万户;个体工商户48.59万户,;农民专业合作社1.07万户。

上海市唯一一个城市是企业比个体工商户多的城市,这也体现上海的企业高质量发展。

下面我会解释如何收集爬取上海的市场主体(企业)。


一、官方平台

1、国家企业信用公示平台

网站:http://sh.gsxt.gov.cn/   

国家企业信用公示平台,应该是一个数据比较及时和完整的平台,设计到很多相关企业公示注册信息。但是平台没有地方公布最新注册企业名单,只能做到企业注册名称,信用代码才能查询相信息。

2、上海信用

网站:http://www.creditshanghai.org.cn/credit/f/credit/query?model=tyshxydm&page=3  

上海信用平台,应该是个地方企业信息展示的比较少的平台,但是本地唯一的信用平台。这个平台也没有公布最新企业名单,但在查询的时候的验证码比国家企业信用平台简单的多。


二、第三方平台

1、企查查

网站:https://www.qcc.com/g_SH

页面显示最新注册的上海企业信息和更新的信息,不过一个搜索条件可以显示5000调数据,可以更具上海的区域:
黄浦区、徐汇区、长宁区、静安区、普陀区、虹口区、杨浦区、闵行区、宝山区、嘉定区、浦东新区、金山区、松江区、青浦区、奉贤区、崇明区 进行企业查询,,还是能查询到很多注册企业信息。


2、天眼查

网站:https://www.tianyancha.com/search?base=sh

和企业和类似,可以通过区域,行业,注册资本,注册时间等多维度的查询企业信息。


这里还有企查猫、启信宝等大多的第三方平台,他们有一个共同特征就是能查询到相关的数据,由于平台都想买接口,所以只能提供部分数据,让爬虫爬取,如果要取得全量的数据,那么就需要调用接口。


三、数据全量更新平台

网站:https://www.tngou.net/tmall/show/27

现在上海全量数据,一般提供全量数据的比较少,甘三数据网主要是提供全量数据+数据更新业务,和其他平台不一样的是不提供数据业务,主要做数据采集和更新。

可以通过下载上海企业数据,和调用企业更新接口来实现企业本地数据和更新。

测试更新地址:https://www.tngou.net/openapi/v1/comp/complist?api_id=1&ProvinceCode=31&Type=1&sign=866448ec11ae82412c2805e30db7e757&ssl=on


总结:  如果有住够的人力成本,和对数据要求比较高可以使用官方平台;如果只是想使用数据,不涉及到本地分析和应用可以直接使用第三方平台的API接口; 如果想在本地做数据存储和分析可以通过第三方数据和更新功能;当然也可以自己抓取数据,后期我也会分析如何抓取上海公司数据,也可以联系我了解相关数据抓取方式和策略。

果需要相关的代码和数据,可以联系作者(QQ:397713472 电话:13518355196[微信同号])。

上海企业库 上海市场主体

关于我

甘三数据网创始人-陈磊(tngou); 7年的互联网老兵,精通WBE技术、爬虫技技术、应用数据处理、大数据开发、自然语言处理与分析; 专业从事数据收集整理多年,并且和大家一起分享应用数据;海量数据,无限未来。

查看名片 →
热门文章
最新动态

陈磊个人信息


TG微信号