Zilliz a déployé le Milvus v3.0, sa base de données vectorielle open source, ajoutant un accès aux données natives du lac et un moteur de recherche amélioré pour les développeurs d'IA de production.
L'architecture native du lac conserve les données brutes dans des formats ouverts sur le stockage d'objets dans le cloud au lieu de les dupliquer dans des bases de données autonomes.Zilliz a dévoilé son concept de Vector Lakebase lors de l'avant-première publique de juin.; Le PDG Charles Xie l'a décrit comme une base de données unifiée permettant des requêtes en temps réel, l'exploration de données et des pipelines de formation d'IA multi-péta-octets sans copies de données,piles de migration ou de stockage parallèleLa couche de stockage d'objets unifiée prend en charge à la fois la recherche vectorielle en ligne à faible latence et l'analyse à grande échelle sur des fichiers sources identiques.
Le cofondateur et directeur technique de Zilliz, James Luan, a commenté: "Milvus 3.0 exécute la récupération de production directement au-dessus des magasins de données existants et fournit un moteur plus puissant pour les charges de travail modernes d'IA.Ce même noyau alimente la base Zilliz Vector Lakebase., améliorée par une mise à l'échelle élastique, des opérations simplifiées et des outils de qualité entreprise pour la gestion des données d'IA à grande échelle.
Les bases de données vectorielles stockent des intégrations vectorielles numériques pour le texte, les images et d'autres contenus pour faciliter la recherche de similitudes.adoptées par plus de 10Plus de 100 000 entreprises pour les RAG, les moteurs de recommandation et les agents d'IA, avec plus de 100 millions de sorties Docker enregistrées.
Les pipelines d'IA traditionnelles maintiennent des copies de données séparées pour la récupération en temps réel et l'analyse hors ligne, ce qui entraîne des coûts de stockage supplémentaires, des exportations de données longues,pipelines de synchronisation et charges opérationnelles lourdes.
Les capacités de base de Milvus 3.0
1.Collections extérieures: Créer des collections Milvus sur des fichiers lac dans Lance, Iceberg, Parquet ou Vortex.les exposer via des API natives standardLa synchronisation incrémentielle met automatiquement à jour les index à mesure que les données du lac changent.
2- Le moteur de stockage.: Un nouveau moteur de découpe de lecture basé sur le manifeste pour les recherches de stockage d'objets à faible latence, en utilisant Open Arrow-compatible Vortex comme format de colonne par défaut.
3- Des instantanés.: Les instantanés de collecte légers et en lecture seule permettent aux tâches de déduplication, d'évaluation et de validation hors ligne d'être exécutées sur des ensembles de données stables sans perturber les écritures de production.
4. Connecteurs d'étincelles et opérateurs de lots: Un connecteur Spark DataSource V2 intègre Milvus avec les flux de travail Spark, Databricks et EMR, ainsi que des fonctions de lot vectoriel natif pour la déduplication et le regroupement.
La recherche vectorielle Top-K standard ne récupère que les vecteurs les plus similaires par calcul de distance, souffrant d'une mauvaise mise à l'échelle avec un nombre et des dimensions de vecteurs élevés.0 élargit la recherche bien au-delà de la recherche de voisin le plus proche:
1.Le tri, l'agrégation et la recherche facetée côté serveur combinent la similitude sémantique avec des filtres de métadonnées (horodatage, prix, catégorie, locataire, etc.), éliminant le post-traitement côté client.
2La récupération multi-vectorielle.StructList prend en charge les entités avec de multiples intégrations (pièces de document, correctifs d'image, données de produit multimodal) et fonctionne avec des modèles d'interaction tardive comme ColBERT et ColPali.
3.L'indice d'épargne optimisé réduit l'empreinte de stockage de ~ 70% tout en correspondant aux performances de rappel d'origine, associé à des vecteurs d'épargne appris SINDI, à des champs vectoriels nullables MinHash intégrés,les dictionnaires personnalisés à texte intégral et une compatibilité plus large avec l'index Faiss.
Luan a ajouté que les charges de travail d'IA de production nécessitent un classement, un regroupement et une recherche multi-vectorielle nativement dans la base de données et v3.0 stockage retravaillé pour fournir un accès rapide au stockage d'objets avec un traitement plus riche dans le moteur.
Ce noyau unifié alimente à la fois le Milvus open source auto-hébergé et le Zilliz Cloud entièrement géré.,l'analyse par lots, l'indexation unifiée, la gouvernance d'entreprise et l'automatisation sur une seule source de données d'IA.
Contextes concurrentiels de l'industrie
La mise à jour augmente la pression sur les rivaux Pinecone, Qdrant et Weaviate, tous en course pour réduire la latence de recherche: Qdrant a lancé une indexation plus rapide, des clusters à haute disponibilité et des journaux d'audit de conformité en avril;Pinecone a déployé des ensembles de vecteurs précalculés et des récupérateurs composables en mai pour accélérer les flux de travail des agents.
Les fournisseurs de bases de données vectorielles pures sont en concurrence avec des plateformes multi-modèles telles que Regatta, SingleStore et SurrealDB.Des partenariats plus approfondis entre bases de données sont confrontés à des obstacles architecturaux et aux moteurs de stockageLe marché pourrait voir les acteurs vectoriels ajouter un support natif structuré, graphique, document ou série temporelle au fil du temps.
Disponibilité
Milvus 3.0 reste un projet gradué LF AI & Data sous licence Apache 2.0, déployable via Docker ou Kubernetes, y compris les environnements air-gapped, avec compatibilité pour S3,GCS et stockage d'objets Azure Blob. La couverture initiale du SDK comprend Python, Go et Node.js, avec une prise en charge Java à venir.aux heures de bureau de la communauté pour le soutien des développeurs.
Le Cloud géré Zilliz intègre Milvus 3.0 comme couche d'indexation de base, ajoutant l'élasticité de l'entreprise, la sécurité et les opérations unifiées sur une seule copie de données partagées.
Nom de l'organisme
Les collections externes mettent en œuvre l'indexation de lacs de copie zéro sans migration de données; Loon résout le goulot d'étranglement d'amplification de lecture qui limitait auparavant le stockage d'objets pour les requêtes vectorielles à faible latence.
La Commission a examiné les informations fournies par les autorités chinoises.
Sandy Yang, directeur de la stratégie mondiale
WhatsApp ou WeChat: +86 13426366826
Le courrier électronique: yangyd@qianxingdata.com
Le site Web est le suivant: www.qianxingdata.com/www.storagesserver.com
En ce qui concerne les affaires
Distribution de produits TIC/Intégration des systèmes et services/Solutions d'infrastructure
Avec plus de 20 ans d'expérience dans la distribution informatique, nous travaillons en partenariat avec des marques mondiales de premier plan pour fournir des produits fiables et des services professionnels.
Utiliser la technologie pour bâtir un monde intelligentVotre fournisseur de services de produits TIC de confiance!
Votre message doit contenir entre 20 et 3 000 caractères!
French
