上海市企业数据名录爬取采集与收集

    2019年全年上海市新设立各类市场主体43.15万户。其中，新设企业36.76万户；新设个体工商户6.35万户；新设农民专业合作社349户。日均新设企业1476户。至年末，上海市共有各类市场主体270.43万户。其中，企业220.77万户；个体工商户48.59万户，；农民专业合作社1.07万户。

上海市唯一一个城市是企业比个体工商户多的城市，这也体现上海的企业高质量发展。

下面我会解释如何收集爬取上海的市场主体（企业）。

一、官方平台

国家企业信用公示平台

网站：Http://sh.gsxt.Gov.cn/   

国家企业信用公示平台，应该是一个数据比较及时和完整的平台，设计到很多相关企业公示注册信息。但是平台没有地方公布最新注册企业名单，只能做到企业注册名称，信用代码才能查询相信息。

上海信用

网站：http://www.creditshanghai.org.cn/credit/f/credit/query?model=tyshxydm&page=3  

上海信用平台，应该是个地方企业信息展示的比较少的平台，但是本地唯一的信用平台。这个平台也没有公布最新企业名单，但在查询的时候的验证码比国家企业信用平台简单的多。

二、第三方平台

企查查

网站：https://www.qcc.com/g_SH

页面显示最新注册的上海企业信息和更新的信息，不过一个搜索条件可以显示5000调数据，可以更具上海的区域：
黄浦区、徐汇区、长宁区、静安区、普陀区、虹口区、杨浦区、闵行区、宝山区、嘉定区、浦东新区、金山区、松江区、青浦区、奉贤区、崇明区 进行企业查询，，还是能查询到很多注册企业信息。

天眼查

网站：https://www.tianyancha.com/search?base=sh

和企业和类似，可以通过区域，行业，注册资本，注册时间等多维度的查询企业信息。

这里还有企查猫、启信宝等大多的第三方平台，他们有一个共同特征就是能查询到相关的数据，由于平台都想买接口，所以只能提供部分数据，让爬虫爬取，如果要取得全量的数据，那么就需要调用接口。

三、数据全量更新平台

网站：https://www.tngou.net/tmall/show/27

现在上海全量数据，一般提供全量数据的比较少，甘三数据网主要是提供全量数据+数据更新业务，和其他平台不一样的是不提供数据业务，主要做数据采集和更新。

可以通过下载上海企业数据，和调用企业更新接口来实现企业本地数据和更新。

测试更新地址：https://www.tngou.net/openapi/v1/comp/complist?api_id=1&ProvinceCode=31&Type=1&sign=866448ec11ae82412c2805e30db7e757&ssl=on

总结：  如果有住够的人力成本，和对数据要求比较高可以使用官方平台；如果只是想使用数据，不涉及到本地分析和应用可以直接使用第三方平台的API接口； 如果想在本地做数据存储和分析可以通过第三方数据和更新功能；当然也可以自己抓取数据，后期我也会分析如何抓取上海公司数据，也可以联系我了解相关数据抓取方式和策略。

果需要相关的代码和数据，可以联系作者（QQ:397713472 电话：13880334484[微信同号]）。