Google Cloud anunció la vista previa del índice vectorial TreeAH, que trae piezas centrales de la investigación e innovación de Google en algoritmos de vecino más cercano aproximado a BigQuery. Este nuevo tipo de índice utiliza la misma tecnología subyacente que impulsa algunos de los servicios más populares de Google y ofrece reducciones significativas en la latencia y el costo en ciertas situaciones en comparación con el primer índice implementado en BigQuery, el índice de archivos invertidos (IVF).

Una de las ventajas clave del índice TreeAH es su uso de hash asimétrico (el "AH" en TreeAH), que utiliza la cuantificación del producto para comprimir las incrustaciones. Junto con un algoritmo de cálculo de distancia optimizado para CPU, la búsqueda vectorial utilizando TreeAH puede ser órdenes de magnitud más rápida y rentable que IVF. La generación de índices también puede ser 10 veces más rápida y económica y tener una huella de memoria más pequeña, ya que solo se almacenan las incrustaciones comprimidas.

Las pruebas de rendimiento realizadas por el equipo de ingeniería de Google mostraron que TreeAH supera significativamente a IVF cuando el tamaño del lote de consultas es grande. Por ejemplo, para lotes de consultas con 10 000 vectores, TreeAH fue hasta 23 veces más rápido y un 95 % más económico que IVF. El entrenamiento del índice TreeAH también fue significativamente más rápido y económico que IVF en la mayoría de los casos.

Sin embargo, vale la pena señalar que TreeAH todavía está en desarrollo activo y existen algunas limitaciones actuales. Por ejemplo, la tabla base puede tener un máximo de 200 millones de filas, y las columnas almacenadas y el filtrado previo no son compatibles con el índice TreeAH.

En general, TreeAH es una adición valiosa a BigQuery, que ofrece importantes beneficios de rendimiento y costo para ciertos tipos de cargas de trabajo de búsqueda vectorial. Se espera que esto permita más casos de uso para la búsqueda vectorial en BigQuery, como la búsqueda semántica y la generación aumentada por recuperación (RAG) basada en LLM.