它是什么以及我们为何构建它
HTAP 代表混合事务/分析处理,指的是可以在单个集群中处理在线事务 (OLTP) 和在线分析 (OLAP) 的数据库。传统上,应用程序开发人员必须部署事务数据库来为其应用程序提供支持,部署数据仓库来运行分析,并部署 ETL 工具来在它们之间移动数据。在 Space and Time,我们构建了第一个去中心化 HTAP 数据仓库,为开发人员提供在单一去中心化环境中支持应用程序、API、分析、数据科学和 ML/AI 所需的工具。
怎么运行的
数据仓库是空间和时间网络的支柱。它是一个去中心化的 Web3 原生 HTAP 引擎,可为任何数据工作负载提供无需信任、可扩展性和极快的性能。
时空数据仓库由多个集群组成,这些集群由节点运营商网络以无需许可的方式运行。跨空间和时间数据结构的各种数据仓库集群是空间和时间系统的主力。他们负责执行数据的五项主要操作:
-
数据摄取- 从外部源保存数据
-
数据传输- 仓库到仓库的数据传输
-
数据存储- 持久保存数据,可查看任何时间点
-
数据转换——数据清理、聚合、多源数据连接
-
数据服务- 轻松高效地访问数据、智能缓存、创建数据 API
为了在单个仓库节点的上下文中执行所有这些操作,我们需要 HTAP。HTAP 数据存储很流行,这是有充分理由的。他们承诺,通过良好的工作负载管理,系统可以适应他们负责处理的任何工作负载。这正是时空作为端到端数据平台所需要的。仓库节点必须足够通用,能够在一分钟内提供高吞吐量摄取,然后在下一次聚合中提供刚刚摄取的 TB 级数据。为此,您需要一个 HTAP 系统。
空间和时间验证器层负责告诉数据仓库查询是事务性的还是分析性的。用户通过此抽象执行查询,就好像连接到单个无限可用的集群一样。在幕后,每个请求都会路由到适当的引擎(OLTP 或 OLAP)。HTAP 的复杂性完全从用户体验中抽象出来。您所要做的就是运行查询,剩下的由我们处理。
它能实现什么
可扩展的 OLTP 比 PostgreSQL 更快
OLTP 是 SxT 提供低延迟查询的能力,为实时应用程序和 API 提供支持。开发人员需要执行极快的查找来为其应用程序提供支持。Space and Time 是多节点、分散式的,可轻松扩展到 1 TB 以上,在集群规模上提供基于行的 OLTP 内存缓存,具有极高的吞吐量。
实时 OLAP 比 Snowflake 便宜
OLAP 是 SxT 处理复杂查询的能力,为洞察、仪表板、机器学习和数据科学提供支持。开发人员需要一个能够访问新数据的 OLAP 系统。数据分析师、仪表板开发人员和实时 dapp 需要在线分析。Space and Time 提供基于列的 GPU 加速 OLAP,具有弹性横向扩展,不仅是实时的,而且是新鲜的。
评论 (0)