批量获取域名备案信息的时候大家所常用的路径, 其实有三种情况, 第一种情况呢是去往工信部的备案管理系统里去查询, 这个呢是官方渠道并且免费使用, 第二种情况呢是通过调用来找第三方的那些提供备案数据的API接口来使用, 这个是按照规定使用的数量来支付费用的, 第三种情况, 就是去使用那种专门用于汇总和查询备案信息的聚合型的平台了, 这其中的部分功能是可以免费使用的, 对于小批量的查询需求而言, 如果要查询的数量在五十个或者少于五十个这种范围以内的话呢直接走官方的那个系统就完全足够了, 如果遇到大批量需要查询的情况比如说有几百个一直到几万个这么庞大数量的, 建议大家还是去使用API接口或者是那些聚合型平台会更好一些, 这样的话在效率方面能够提升大概 ten 倍也就是十倍左右的这样的大幅度的提高。

官方渠道:工信部备案管理系统

访问工业和信息化部备案管理系统的网址, 也就是beian.miit.gov.cn这个网站, 在首页找到备案查询入口, 并且输入域名来进行查询。

单次仅仅支持对一个域名的查询, 如果是批量操作的话, 那么需要逐个去输入。查询的结果里面包括有, 主办单位名称是怎样的, 备案号是什么, 网站的名称叫什么, 审核的状态是怎么样的。

适用的场景是当域名的数量处于50个以内的区间范围, 并且在对于查询的时间效率方面不存在硬性规定的要求状况之下。

操作的要点是这样的。

输入完整域名(含www或不带均可)

把返回的icp备案号给记下来, 然后再把那个主办单位是谁也给写清楚, 最后还需要把对应的省份信息一块儿记录进去。

每查询一个域名间隔3~5秒,避免触发限流

第三方API接口(大批量首选)

批量获取域名备案信息的5种方法:官方查询、API接口与实操步骤(图1)

目前主流备案数据API服务商包括:

站长工具类API, 像chinaz这种网站提供的, 还包括5118等网站给的批量备案查询接口。

专业备案数据服务商, 它提供从域名查询到备案号获取, 再到主办单位确认这样的全链路数据支持服务。

调用方式通常为:

GET /api/icp/batch?domains=domain1.com,domain2.com,...

通过POST提交一个域名列表, 然后返回JSON格式的一种关于备案方面的信息数据。

选择型号的标准。

在一次单独的请求里面, 支持处理多少个域名, 通常情况下是每次10到100个。

数据更新频率(T+1或实时)

是否包含历史备案变更记录

批量获取域名备案信息的5种方法:官方查询、API接口与实操步骤(图2)

接口要保持在稳定状态, 并且需要对并发数量做出相应的限制。

阜新市自然资源事务服务中心

备案数据聚合查询平台

部分平台, 比方说那些备案查询的网站, 还有企业信息服务平台之类, 它们支持你把好多个域名一次性全部粘贴上去。然后呢, 这些平台会以表格的形式来返回你的备案信息。

你还能够把这些信息导出到Excel里面去。这一种办法比较合适那种中等批量的情况, 比如你要查的域名数量在五十个到五百个之间。同时它也很适合那种不想写代码的用户用来操作。

自建爬虫方案(技术团队适用)

针对那些固定的域名列表, 是可以编写脚本循环调用工信部查询页面或第三方API的技术。

用户在使用requests库的时候, 结合代理池的使用方式, 来规避IP地址被封禁的问题。

设置合理请求间隔(建议≥2秒/次)

把最终得出来的那些个数据给弄进csv文件里头或者是存到数据库里去, 中间要是断了什么的就支持接着往下干。

在遇到返回码为429或者503这样的情况的时候, 加入异常重试的机制, 并且采用指数退避的方式来进行操作。

批量获取域名备案信息的5种方法:官方查询、API接口与实操步骤(图3)

这是一个合规方面的提醒, 也就是要说明爬虫这个方案只能够被用来进行自己所属域名资产的盘点工作或者合规审查工作, 严格禁止将被获取到的备案数据用于商业贩卖这样的行为。

注意事项与数据校验

校验项 说明
备案号格式 正确格式为"省份简称-年份-序号-序号",如"京ICP备2024XXXXXX号"
域名与备案对应关系 一个备案主体可关联多个域名,需核对是否一一对应
数据时效 官方数据为准批量获取域名备案信息,第三方数据可能有1~3天延迟
未备案域名 查询无结果不代表一定未备案批量获取域名备案信息,可能域名已注销或数据未入库

全链路操作建议

1. 需要整理域名的清单, 并且要去重, 然后把它们全部统一成小写格式。

2. 在数量选择方面存在方法对应的规则,当数量处于小于等于五十这个范围时采用官方方式, 当数量介于五十到五百之间的时候使用聚合平台方案, 而一旦数量超过五百那就需要选用API接口或者是爬虫技术来实现处理。

3. 当结果被获取完成之后, 需要将这些结果与域名清单进行相互比对的操作, 然后把那些显示为“未查到”状态的域名做上标记。

4. 对“未查到”这个域名进行二次的核验工作, 具体的方法是换用不同的查询入口来重新查找一遍。

5. 最终, 你要弄出来的那个东西, 它是一个表格, 这个表格里面有五列, 那五列具体的内容分别是什么, 一个是域名, 一个是备案号, 一个是主办单位是什么, 再一个是网站名称, 还有一个就是审核的状态, 这五个东西都要放进去。

以上的方法都是可以由用户直接来进行操作的, 关于数据这一事, 要明白工信部备案管理系统才是那个最终的权威来源。