利用Python爬取SIG官网BQB认证清单的方法和一些发现

发表于 | 分类于

1. 蓝牙认证

产品如果配备了蓝牙功能且要在产品外观上注明蓝牙的标识在国际市场上流通，就必须要经过蓝牙技术联盟（SIG）的严格审查和认证，必须要过BQB认证，交专利费。BQB认证包含了RF射频一致性测试、协议和profile一致性测试，下面一一讲解。

按照系统的复杂度，可以将蓝牙BQB认证产品分为 End Product，Subsystem 和 Component 三种。芯片厂家的产品的认证类型主要有 Subsystem 和 Component 两种。

Component （组件）

  • 最小的认证单元，不能被 DID 直接引用。

  • 可以被 Subsystem 和 End Product 继承。

  • 如有需要，可以修改测试项重新做测试。

  • 可分为 Tested 和 Non-Tested 两种。

Subsystem（子系统）

  • 一个完整的子系统，可以被 DID 直接引用。

  • 可以直接做测试，也可以继承已做过认证的 Component, 但不能被 End Product 继承。

  • 如有需要，可以修改测试项重新做测试。

  • 可以分 Controller Subsystem ，Host Subsystem，Profile Subsystem 等。

End Product（终端产品）

  • 必须是一个完整的系统，可以被 DID 直接引用。

  • 可以直接做测试，必须同时继承 Host Component 和 Controller Component。

  • 如有需要，可以修改测试项重新做测试。

一般原始模块 需要首先申请 QDID 认证，完成认证之后会获得相应的证书，证书中会体现产品类型，型号以及 QDID 号。我们通常说的 BQB 蓝牙认证就是指 QDID。对于 终端产品 来说，QDID 是可选的，如果需要提交新的测试计划（QDID），也可以 继承（Combine） 原始模块 已经完成的部分测试项，只需要再测试增加、修改的测试项。

举个例子：对于蓝牙音箱成品来说，如果蓝牙模块已经通过 BQB 认证，蓝牙音箱这个产品可以不用重新申请认证，只要取得模块供应商的授权，就可以把产品以 DID 的形式在 BQB 网站声明。（更多关于BQB认证信息可以参阅文章：ESP32 更新多项 BQB 蓝牙认证）

2. SIG官网爬虫

前期准备

爬虫思路：登陆SIG BQB Listing网站了解BQB查询方式，发现该网站可以通过两种方式查询产品BQB认证信息：
高级搜索功能：可以按照公司名，蓝牙版本，产品类型搜索，可以搜到2014年以后和该产品相关内容，该搜索的缺点在于必须指定特定输入条件，适合精确查找，不适合爬虫。
盲搜索功能：可搜索5000条DID认证信息，然后在该结果下再次搜索自己需要的产品，该搜索方式只能请求5000条数据，蓝牙联盟不想让咱知道太多。

准备工具

设计流程

爬虫实施

构建request payload，requests获取数据

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
payload = {"searchString":'',
           "searchQualificationsAndDesigns":'true',
           "searchDeclarationOnly":'true',
           "searchEndProductList":'false',
           "searchPRDProductList":'true',
           "searchMyCompany":'false',
           "productTypeId":0,
           "specName":0,
           "bqaApprovalStatusId":-1,
           "bqaLockStatusId":-1,
           "listingDateEarliest":"",
           "listingDateLatest":"",
           "userId":0,
           "memberId":'',
           "layers":[],
           "maxResults":15000 }

URL = "https://launchstudio.bluetooth.com/Listings/Search"
r = requests.post(URL,data = payload)

SIG BQB Listing网页采用前后端框架，一次搜索后前端Web已经拿到5000条数据内容，但Web做了处理分页显示，所以爬虫时不需要在前端浪费时间。在爬虫处理上，只需要按Payload格式要求REQUEST后台获取数据。

数据清洗

5000条到手数据经过数据清洗，按照Jason格式转换为Pandas认识的DataFrame，得到DataFrame数据后就可以开启数据处理和数据分析。数据包含下图12类信息，第三章的数据分析依据该12类中的某几类聚合以及一定条件过滤和计算进行数据提取。

3. BQB Listing 数据分析

根据第一小节讲到的内容，一个DID是一家SIG会员公司(Associate级别会员，Adopter级别会员)购买的唯一序列号，该公司利用DID和引用QDID声明自己产品符合蓝牙技术规范，作为公开出售的证明，该DID可以List一个或者多个同类终端产品。因为SIG官网限制了获取后台数据的数量，爬到的5000条DID信息涉及2019年3月19日至2020年5月4日，总共List的终端产品共有47788款产品，该数据包含蓝牙终端产品和蓝牙芯片软硬件的认证总和。

蓝牙版本

过去一年5000个DID认证号中蓝牙版本以5.0居多，排名前三位的认证版本是蓝牙5.0，蓝牙4.2以及蓝牙5.1。值得一提的是已经有部分芯片原厂公司拿到蓝牙5.2的认证，认证类型主要分布在PYH，HOST与软件SDK，涉及Qualcomm, ARM, Nordic, SilconLab, PixArt, Realtek, HiSilicon(Hi1105C20)等公司产品，HiSilicon的Hi1105C20这颗蓝牙5.2芯片值得关注。

公司类型

过去一年共计2264家公司认证了蓝牙产品（购买DID序列号）。根据统计，购买超过10个DID序列号的公司共计有52家，三星作为购买DID最多的公司，总计购买230个DID，其次是Haiwei共计购买88个DID，小米共计购买79个DID，排在第四名哈曼，共计购买69个DID号。第一章节中介绍，一个DID可以List多个终端产品，根据这一规则统计，去年一年共计47788个产品拥有蓝牙认证，在市场进行销售（实际认证数量会少于47788，因为部分认证来至芯片原厂，不属于终端产品）。但是，实际市场流通的蓝牙产品种类应该远远多于47788，因为有很多产品是没有通过认证，直接在市场进行销售。

产品类型

我们聚合认证清单超过200个的公司和申报名字的列表，华为名列前茅。通过产品认证的Name可以大致推断，手机类产品是蓝牙认证数量最多，其次手机配件产品，第三是TV产品，比较意外的是灯控认证的数量非常可观，Zumtobel是一家欧洲有名的灯光公司，Aurora Lighting是一家本土灯光布置公司，查找详细信息发现两家公司在灯控上使用的蓝牙技术并不是Mesh协议，而是传统的BT4.2协议。

在上一张直观图，华为认证List的产品数量占了半壁江山，结合DID数据分析可以发现一个有趣的现象，华为直接购买的DID数并不是最多，但是华为引用QDID，LIST产品数量远远高于三星，可以看出华为的两个现象，1.最大化利用已购买的DID 2. 产品形态丰富，种类繁多。

音频原厂动向

根据网上整理的一份2019年TWS耳机芯片原厂报告，跟踪了这些公司在2019年度蓝牙的研发认证进展情况，高通(CSR)全系列产品升级至5.1或者5.2，Huawei芯片拭目以待，Cypress产品包含了部分BLE产品认证，其他原厂中不乏蓝牙5.2认证芯片。需要说明的是，Apple认证的产品并不是TWS耳机，有两个属于在Macbook和IOS HOST端协议的认证，另个一个Mesh属于手表上的认证。

外资Bluetooth LE原厂动向

Nordic全线产品升级SDK，认证蓝牙5.1，5.2协议，但是没有看到关于新芯片52820的相关认证信息。NXP第二，认证数据包括刚刚收购Marvell的产品。Dialog 14531已经完成controll和host认证，应该很快会投放市场。

国产蓝牙原厂动向

共计17家国产半导体在过去的一年中提交芯片认证相关DID，每家公司认证的产品数量不多，涉及芯片个数相比外资企业有一定差距，但是有这么多的公司还是让我感受到了国产半导体的力量。比较意外Telink去年一年新产品认证不多，只有三个，一个模块认证，一个controller和一个host的5.0升级认证，没有新产品以及新的协议栈认证。

蓝牙芯片原厂动向

芯片原厂正在积极升级新的协议标准以及给新的芯片做认证。从数据分析来看，认证蓝牙5.1版本共计57个，排名第一；5.0版本的芯片认证排名第二，共计30个；排名第三的是蓝牙5.2版本，共计22个。目前尚不清楚已认证的蓝牙5.2版本芯片是否支持LE Audio和LC3音频编解码。

4. 几点感悟

  • 蓝牙联盟的商业模式和运营模式值得国内科技公司学习。

  • 标准制定组织通过技术授权，赚的盆满钵满。

  • 感谢技术大牛们的科研成果，蓝牙新技术层出不穷。

  • 芯片原厂竞争异常激烈，除了比拼芯片功能和射频性能，无线协议栈的开发和维护升级也是一个非常庞大复杂的工作。

  • 人生苦短，我用PYTHON，274行代码完成爬虫+数据分析。

#「Wireless Inside 微信公众号 (原无线技术联盟微信公众号) 微信交流群」

助力IoT行业朋友打通短距离无线通信圈的行业小社区。
集高通，Broadcom，TI，Nordic，Dialog，ST，Silicon lab, NXP, AMBIQ等蓝牙芯片原厂技术，市场，销售
集华为，MTK，泰凌微，凌思微，盛源达，ASR，华普微，中颖电子，百瑞互联，Realtek 国产芯片原厂技术，市场，销售
集Arrow，北高智，迅通，世强，利尔达，科通，全科等一线原厂代理商技术，市场，销售
集小米，华米，绿米，涂鸦，雅观，百度，阿里，Oppo，Vivo，京东互联网公司，品牌客户，方案公司技术，市场，销售，创始人
集蓝牙认证机构，被动器件，射频公司，以及SIG大佬

申请流程：
① 因群人数已超过限制人，请先微信扫描以下微信二维码或添加Xcoder微信号（blecoder），添加微信时请将您的个人信息进行备注（名字 公司 职位），以便登记，同时也欢迎同行和我进行交流。
② 由于需要我逐个邀请入群，所以请大家耐心等待！谢谢理解与支持！