回顾我们在 VLDB 2024
8 月 26 日至 8 月 30 日，数据库领域的顶级国际会议 VLDB 2024 在广州举行。IoTDB 最新研发成果的三篇论文被本次大会录用（详见：IoTDB 在顶级会议 VLDB 2024：四篇最新论文入选，特邀做 TPC 报告与讨论会！），此外，在国际权威数据库性能测评基准组织“事务处理性能委员会（TPC）”主办的 TPCTC 2024 会议上， IoTDB 团队受邀发表论文及作特邀报告，并围绕时间序列数据库主题组织圆桌会议。
事务处理性能委员会（TPC，Transaction Processing Performance Council）是一个非盈利组织，于 1988 年成立，为国际上最权威的数据库性能测评基准组织之一。国际上绝大多数知名数据库厂商及企业版产品，如甲骨文 Oracle、微软 SQLServer、IBM DB2、Databricks 等均参与了其设立的基准测评。
应 TPC 委员会邀请， 来自世界各地的数据库领域高校教授、工业专家出席了"时序数据库基准测试：现状与未来展望"圆桌会议，特邀嘉宾有：
陈雷：香港科技大学（广州）信息枢纽院长，VLDB 2024 主席
王建民：清华大学软件学院院长，大数据系统软件国家工程研究中心执行主任
Raghu Nambiar：AMD 全球副总裁、CTO，TPCTC 2024 主席
王宏志：哈尔滨工业大学计算机科学与工程系主任，计算学部海量数据计算研究中心主任
龙明盛：清华大学软件学院长聘副教授，信息系统与工程研究所所长
李强：中冶赛迪信息技术（重庆）有限公司副总经理、CTO
郑鹏程：天谋科技海外负责人
立足学术与工业的不同视角，诸位专家学者聚焦物联网场景，结合最前沿的人工智能与机器学习技术，深入剖析了时序数据库领域的科研成果与生产实践中的需求挑战，共话时序数据库的评判基准及未来发展。
01 为什么需要数据库基准测试？
在讨论数据库系统，特别是时序数据库时，专家们一致认为，标准化的基准测试不仅是评估数据库系统性能的必要工具，更是推动技术创新的基础。香港科技大学陈雷教授强调，目前通用的数据库基准测试并不足以评估时序数据库在物联网（IoT）场景下的特定性能需求，特别是在面对高吞吐量和低延迟的双重要求时显得力不从心。由于缺乏针对时序数据库的专门基准测试，研究人员和最终用户无法在公平和客观的条件下比较不同系统的性能。
香港科技大学（广州）信息枢纽院长陈雷
清华大学王建民教授指出，基准测试的重要性体现在多个层面。首先，基准测试提供了一个标准化的方法来比较不同的数据库解决方案，确保在相同的条件下对所有系统进行性能评估。这能有效避免厂商采用内部或者特别优化后的测试来主张其技术优势，为用户提供一个客观的尺度，帮助他们在不同的数据库系统之间做出合理的选择。
清华大学软件学院院长王建民
其次，基准测试对推动技术创新具有至关重要的作用。它为数据库系统的持续改进提供了明确的目标，使得开发者能够根据基准测试的反馈，不断调整系统架构，满足不断演进的性能标准。通过这种方式，基准测试不仅有助于维护技术的客观性和透明度，还为数据库开发提供了一个明确的优化方向，推动数据库技术的不断创新和发展。
基准测试的公平性是一个关键议题。专家们提到，基准测试的工具、测试流程、参数配置，以及软硬件环境的选择，都必须经过严格审核，以确保各类数据库系统在相同条件下进行测试，进而保证结果的公平和准确。
02 针对 IoT 场景的数据库关键特性
✍关键词：端-边-云，高基数，可扩展性，乱序数据，稳定性和可维护性，AI 技术
时序数据库在物联网环境下的角色是本次讨论的核心议题之一。工业4.0的兴起使得 IoT 系统的复杂性进一步增加，其通常分为多个层级，包括不断生成数据的终端设备、用于聚合和传输数据的网关，以及负责数据处理和存储的数据中心。时序数据库必须同时处理分布式边缘设备和中心数据管理的挑战，因此，要构建一个稳健的物联网数据管理基础设施，必须从整体上优化系统各层级的性能，确保从设备到数据中心的端到端响应。
王建民教授表示，IoT 场景下的数据流量不仅以测量频率高为特点，更体现在由大量传感器和设备生成的海量数据点中，导致了高基数（high cardinality）的问题，譬如长安汽车的车联网平台管理超15亿测点，这要求了数据库能够有效地处理多样化和复杂的数据集。
在对传统关系型数据库的技术发展进行分析后，陈雷教授提出，类似关系代数之于关系型数据库，时序数据库也应具备原生的代数支持，以便高效地表示、存储和查询这些数据，而将传统的关系型数据库结构简单“移植”到时序场景中将无法满足需求，专门设计的机制才是确保数据库处理效率的关键。多位专家一致认同，时序数据需要被视为数据管理中的“一等公民”。
在 IoT 应用中，可扩展性（scalability）也是时序数据库的核心特性之一。随着连接设备的数量和数据量的不断增长，数据库必须能够在垂直和水平两个维度上扩展，确保能够随着设备和数据流量的增加而保持高效。
稳定性与可维护性也是工业应用中的关键要求。中冶赛迪信息李强博士着重强调，工业系统往往需要24小时不间断运行，任何数据库的故障或中断都会造成严重的经济损失。因此，时序数据库不仅要保证长期稳定运行，还要便于维护和升级，尤其是在工业环境中。天谋科技郑鹏程指出，工业场景中由于网络延迟或传感器故障，数据经常会以乱序的形式到达，而依赖传统技术开发以及只关注正常时序的数据库在处理这类数据时，性能会急剧下降。因此，针对 IoT 场景的数据库必须具备高效处理这些乱序数据（out-of-order data）的能力，保证写入性能和查询响应速度。
中冶赛迪信息 CTO 李强
展望未来，人工智能（AI）技术的发展也为数据库技术的进步带来了巨大的潜力。AMD 全球副总裁 Raghu Nambiar 博士申明，回顾过去几十年，我们先后经历了互联网、物联网、云原生、AI 等技术变革，数据的重要性与日俱增，从海量联网设备产生的数据中提取有价值的信息也愈发重要，而原生的时序数据库因其在高效管理和利用时序数据方面的能力，变得比以往任何时候都更加重要。通过利用 AI 技术，数据库能够深入挖掘时序数据的潜在价值，提供更为智能的实时分析和预测。
AMD 全球副总裁 Raghu Nambiar
王建民教授表示，原生时序数据库的开发，结合对时序特定操作的优化支持，将为这一领域带来巨大的发展机遇。通过专注于高基数的数据特性、时序操作的原生支持、实时响应能力、可扩展性、乱序处理能力、稳定性和 AI 的深度集成，时序数据库可以满足物联网应用的苛刻需求，推动消费级和工业级连接系统的持续发展。
03 面向 IoT 场景，如何将 AI 技术与数据库系统进行融合
?关键词：时序大模型，异常检测，时序预测，数据库内模型推理/模型训练，可靠性，可解释性
机器学习、深度学习、自然语言处理、大模型等 AI 技术的热度持续攀升。AI 在管理和分析物联网场景下的时序数据中扮演了重要角色，但将 AI 与数据库系统相融合时，仍面临着诸多挑战。
（1）AI 在时序数据库中的作用
从查询优化到数据存储效率，AI 的引入可以提升数据库的多方面性能。如前述，时序数据通常具有高频、大容量和实时性等特点，这些都对数据库管理系统提出了独特的挑战，而 AI 技术能够帮助应对这些挑战。在 IoT 场景下，时序数据库不仅需要管理海量数据，还需从复杂的数据集中提取数据的价值。AI 除了提升数据库的性能以外，还可以通过异常检测和趋势预测等技术，增强数据库的分析功能。
清华大学龙明盛教授指出，大模型技术提供了一种具有可扩展性和多功能性的解决方案。这些模型通过通用模型处理各种任务，例如预测、数据插补和分类等，然而，一个“通用模型”的方案未必能适应所有应用场景。对此，龙教授强调了时序大模型技术的重要意义，将基于多领域时间序列进行大规模预训练开发出的时序分析模型与数据库相结合，直接在数据库内进行推理和模型训练。通过将 AI 驱动的推理能力与数据库集成，系统可以实时预测趋势、检测异常和分类模式，并无需外部处理。此外，直接在数据库中进行模型训练，能够从不断涌入的数据流中持续学习，动态适应不断变化的模式，提高资源效率，更好地处理物联网环境中产生的不断变化的数据。
清华大学信息系统与工程研究所所长龙明盛
大模型在某些应用中提供了强大的基础，但物联网系统的异构性要求能灵活应对不同的应用需求。例如，边缘设备（如智能手机或医疗监视器）可能需要轻量级模型，以便本地处理数据，同时保护数据隐私。对此，陈雷教授提醒，AI 模型的设计应根据具体应用场景进行定制，从而在实时性和隐私保护之间找到平衡。通过设计专为时序数据开发的大模型，数据库可以实现多种任务的自动化。
尽管 AI 技术在提升数据库系统性能方面潜力巨大，但仍有一些挑战需要应对。哈尔滨工业大学王宏志教授指出，AI 模型的可解释性和可靠性是不容忽视的问题。当前的 AI 模型尚未达到普遍可靠的程度，特别是在工业自动化或医疗等对数据准确性和系统稳定性要求极高的领域，需要确保 AI 技术在高风险决策中的透明性和可信度。
哈工大计算机科学与工程系主任王宏志
（2）AI 对基准测试的优化
除了能对数据库本身的性能与功能进行优化，AI 技术还可以推动数据库基准测试的革新。王宏志教授举了一个有趣的例子：传统的基准测试方法类似于标准化“考试”，数据库根据一系列预设问题进行填空以完成评估，而 AI 的兴起为这一模式的转变提供了可能性，例如通过 AI 技术引入一个更动态的“面试”模型，根据数据库的特性调整基准测试，使其更加灵活和针对性。这一方法对于时序数据库有着重要意义，因为不同的应用场景对数据库的要求差异显著。例如，数据库是否设计用于物联网场景，或是否从传统关系型数据库改编而来，这些都会影响基准测试的表现。通过 AI 驱动的基准测试，系统可以根据特定工作负载更好地评估数据库的性能，进而判断哪些数据库最适合特定的应用场景。这不仅能够推动数据库的发展，促使它们满足物联网环境的独特需求，还能为开发者和用户提供宝贵的见解，帮助他们选择最合适的数据库解决方案。
不过，AI 生成数据的可靠性问题依旧不能忽视。生成式 AI （GenAI）可能会出现不真实的数据，这会扭曲基准测试结果，导致对数据库性能的误判。因此，尽管 AI 可以被用来辅助测试基准的改进，但人类的监督仍然是必不可少的。
王建民教授补充，想要将 AI 技术引入数据库系统，必须要针对工作负载进行改进，需要开发新的基准测试方法以及 AI 驱动的工作负载。传统的数据库操作，如在线事务处理（OLTP）和在线分析处理（OLAP），有着完善的基准测试标准，但这些标准未能充分考虑 AI 工作负载的要求。因此，新的基准测试应评估数据库在查询优化、数据一致性和实时性等方面的表现。
04 TPCx-IoT 基准测试
随着物联网（IoT）环境的快速扩展，企业不仅需要管理大规模的数据流，还要从中提取数据的价值。为了评估处理这些数据的硬件和软件技术的性能，业界标准 TPCx-IoT 基准测试应运而生。该基准测试 TPC 委员会于2017年开发，旨在为物联网系统的软件、硬件以及网关系统性能评估提供标准化测试框架。自推出以来，TPCx-IoT 已成为评估系统在实时、高吞吐量物联网场景下可扩展性和性能的重要工具。
TPCx-IoT 基准测试基于广泛使用的 Yahoo Cloud Serving Benchmark（YCSB）框架，通过模拟变电站传感器数据管理场景下的工作负载来评估系统的性能，这些工作负载包括从边缘设备到网关系统和后端数据中心的持续数据流。基准测试的重点任务包括数据摄取和边缘分析，这对于物联网系统的实时处理和洞察至关重要。
Nambiar 博士强调，TPCx-IoT 采用客观中立的框架评估系统的性能和性价比，旨在确保在真实世界条件下对硬件和软件解决方案进行公平和一致的评测，并核查系统的可用性以保证长期稳定的性能，为工业用户提供客观、可验证的性能评价结果。
目前，多个数据库系统已经在 TPCx-IoT 基准测试下进行了评估，其中包括基于 Apache IoTDB 的企业级时序数据库 TimechoDB，具备可扩展性的 Machbase，云原生的 Lindorm 以及被广泛使用的分布式存储系统 HBase。这些系统在处理不同的物联网工作负载时展现了多样化的性能特点。在最新的基准测试中，TimechoDB 凭借物联网原生的时序数据库 Apache IoTDB 的先进技术，在性能测试中刷新记录，位居榜首。
TPCx-IoT 基准榜单前五名（来源：https://www.tpc.org/tpcx-iot/results/tpcxiot_results5.asp?version=2）
05 TPCx-IoT 基准测试的未来优化与发展
在圆桌会议的最后，特邀专家们分享了他们对于 TPCx-IoT 的未来优化与发展的见解与建议，覆盖了多个重要的改进方向，包括数据类型的多样性、乱序数据的处理、查询性能的考量、AI 驱动的分析型工作负载的集成以及对行业特定需求的考虑。
结束之际，各位专家提出了对物联网场景下时序数据库性能评价基准的展望：
王建民教授给出了两个建议：首先，测试基准的开发应吸引更多产业界的参与；其次，他期待更多学术界人士的加入，以共同探讨数据库开发中的共性问题，以此推动数据库和基准测试的持续优化。
陈雷教授强调，AI 对基准测试的发展至关重要，尤其是在人工智能物联网（AIoT）领域。我们应在众多 AI 模型和算法中明确基准设计所需的基础模型和操作，并在此基础上不断提升测试的全面性。
Raghu Nambiar 认为，TPC 举办像 TPCTC 这样的会议，正是为了保持技术的前沿性，并根据技术的发展（如时序数据库和 AI 的进步）制定新的评估基准。TPC 致力于业界标准的建立，这不仅帮助学术界，也惠及商业领域。
王宏志教授提到，不同的细分领域可能需要不同的基准测试。建议邀请各行业的专家参与测试基准的开发，以确保在选择数据库时能够考虑到更符合需求的时序数据库，而不仅仅是通用数据库如 MySQL 或 Oracle。
龙明盛教授建议，未来的测试基准应纳入 AI 相关的需求，并广泛收集 AI 领域科研人员的反馈，以便 AI 专家能更好地参与到时序数据分析、预测和大模型的改进中。
李强指出，TPC 基准测试为解决方案提供商提供了有力的参考，帮助他们识别风险和性能指标。未来，测试基准应与工业界更加紧密结合，识别出更多行业特定的性能指标，从而为特定行业提供更具针对性的参考依据。
郑鹏程补充，测试基准需要充分考虑实际生产环境中的需求，如多维度工作负载、多类型数据写入、聚合查询和乱序数据处理等，从而避免出现“为了测试而测试”的情况，使测试结果更具实际意义。
06 结语
随着工业数智化转型的快速推进，物联网场景的数据量持续增长，因此时序数据库和全面的基准测试方法的革新至关重要。TPCx-IoT 等专门开发的基准测试在评估复杂物联网环境下的数据库性能方面起着不可替代的作用。此次圆桌会议深入探讨了标准化基准测试的重要性，以及在实时、高频场景下数据库的关键特性。AI 技术的引入为数据库系统和基准测试过程带来了巨大机遇，但也伴随着可解释性、可靠性和复杂性的挑战。此外，特邀嘉宾针对TPCx-IoT 的优化提出了具体建议，包括多样化的数据类型、乱序数据的处理、增强查询能力、集成 AI 驱动的分析型工作负载以及紧密结合工业场景。这些改进将帮助基准测试更好地反映实际的应用需求，尤其是在不同行业中面对的具体挑战。
展望未来，基准测试必须随着技术的发展不断演进，确保其在传统和 AI 增强的物联网场景中依然具有重要意义。通过学术界与产业界的紧密合作，基准测试将继续引领时序数据库技术的创新与优化，推动其满足物联网应用日益复杂的需求。
规上企业应用实例
能源电力：中核武汉｜国网信通产业集团｜华润电力｜大唐先一｜上海电气国轩｜清安储能｜某储能厂商｜太极股份｜绍兴安瑞思
航天航空：中航机载共性｜北邮一号卫星
钢铁冶炼：宝武钢铁｜中冶赛迪
交通运输：中车四方｜长安汽车｜城建智控｜德国铁路
智慧工厂与物联：PCB 龙头企业｜博世力士乐｜德国宝马｜京东｜昆仑数据｜怡养科技
