Учебное пособие по SpringBoot (18) | SpringBoot интегрирует Milvus (наиболее полный во всей сети)
1. Обзор мильвуса
Milvus — это векторная база данных, в основном используемая для операций, связанных с векторными запросами в области больших моделей. В предыдущих версиях Milvus действительно были некоторые недостатки, особенно в некоторых запросах, похожих на mysql. Вот несколько недостатков.
Во-первых, milvus не поддерживает несколько векторных полей. Во-вторых, нечеткое сопоставление milvus поддерживает только сопоставление префиксов. В-третьих, milvus не поддерживает сортировку.
Однако эти функции были решены в последней версии milvus. Но пока не успел опробовать последнюю версию, поэтому не знаю, как там поддержка.
Цель этих слов на самом деле состоит в том, чтобы напомнить вам, что если вас особенно беспокоят пункты, которые я упомянул выше, вы должны выбрать хорошую версию для установки и не обнаружить, что она не поддерживается после установки.
Официальный адрес сайта Milvus: https://milvus.io/.
Milvus поддерживает множество языков, и это основная причина, по которой я выбрал его, включая Python, Java, go, Node, C# и restful. Таким образом, вы можете сделать выбор в соответствии с вашими потребностями.
В то же время существует еще много продуктов векторных баз данных, особенно для игроков на Python. Если вы хотите найти тот, с которым можно поиграть, не рекомендуется использовать этот, поскольку он все еще относительно велик. Я использую это в основном потому, что раньше использовал его в Python, но теперь мне нужно использовать еще и Java, а переустанавливать его мне лень. Более того, эта штука поддерживает Java, а у меня тоже есть потребности в Java, поэтому я продолжаю. использовать это.
Установка milvus относительно проста, если вы используете docker-compose. Рекомендуется использовать этот метод. Конкретная установка обсуждаться не будет.
2. Интеграция SpringBoot
Недавно мне нужно было использовать SpringBoot для сохранения данных в векторной библиотеке Milvus, поэтому я поискал ее и обнаружил, что там слишком мало соответствующих документов. Когда я запросил csd, на самом деле за это взималась плата. Нужна ли эта чушь? Итак, я провел углубленное исследование, объединил его с некоторыми статьями в Интернете и поделился ими со всеми бесплатно. В будущем я также добавил ключевые показатели эффективности для своего блога. CSDN будет иметь не более одного видимого вентилятора.
Хорошее начало. Прежде всего, версия Milvus, которую я получил: v2.3.4. Таким образом, проблемы, о которых я упоминал выше, все еще существуют в этой версии, и моя интеграция также соответствует этой версии. Если ваша версия выше моей, следующий код может быть неприменим или несовместим.
Хорошо, давайте начнем. Любой, кто читал мою серию статей о SpringBoot, должен хорошо понимать этапы интеграции. Первым шагом обязательно является введение зависимостей.
<!--milvus векторная база данных client sdk -->
<dependency>
<groupId>io.milvus</groupId>
<artifactId>milvus-sdk-java</artifactId>
<version>2.3.3</version>
</dependency>Здесь используется версия 2.3.3. До этого пользовался 2.3.4. Однако есть некоторые пакеты jar, которые имеют серьезные конфликты. Я не смог найти isEmpty пакета Google или что-то еще, я не могу точно вспомнить, в основном это конфликтует с моим MySQL-коннектором, если вы его устранили. Если у вас есть другая проблема, найдите способ решить ее самостоятельно.
<!-- MySQL-соединение -->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>8.0.19</version>
<scope>runtime</scope>
<exclusions>
<exclusion>
<artifactId>protobuf-java</artifactId>
<groupId>com.google.protobuf</groupId>
</exclusion>
</exclusions>
</dependency>Хорошо, далее давайте представим конфигурацию. Это ссылка на документ в Интернете, который все чаще всего находили при поиске. Судя по тому, что он написал, его документ хорошо написан, но там написано только о создании. Существует относительно мало случаев использования сбора и запроса. В пакете конфигурации добавьте два класса:
MilvusConfig
import io.milvus.client.MilvusServiceClient;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Scope;
/**
* @author qingf
* @title MilvusConfig
* @description
* @create 2024/4/23
*/
@Configuration
public class MilvusConfig {
/**
* milvus ip addr
*/
@Value("${milvus.config.ipAddr}")
private String ipAddr;
/**
* milvus port
*/
@Value("${milvus.config.port}")
private Integer port;
@Bean
@Scope("singleton")
public MilvusServiceClient getMilvusClient() {
return getMilvusFactory().getMilvusClient();
}
@Bean(initMethod = "init", destroyMethod = "close")
public MilvusRestClientFactory getMilvusFactory() {
return MilvusRestClientFactory.build(ipAddr, port);
}
}Обратите внимание, что здесь настроены две переменные: ip и порт. Добавьте свой адрес в файл конфигурации. Не копируйте его сразу после копирования.
Второй класс:
MilvusRestClientFactory
import io.milvus.client.MilvusServiceClient;
import io.milvus.param.ConnectParam;
/**
* @author qingf
* @title MilvusRestClientFactory
* @description
* @create 2024/4/23
*/
public class MilvusRestClientFactory {
private static String IP_ADDR;
private static Integer PORT ;
private MilvusServiceClient milvusServiceClient;
private ConnectParam.Builder connectParamBuilder;
private static MilvusRestClientFactory milvusRestClientFactory = new MilvusRestClientFactory();
private MilvusRestClientFactory(){
}
public static MilvusRestClientFactory build(String ipAddr, Integer port) {
IP_ADDR = ipAddr;
PORT = port;
return milvusRestClientFactory;
}
private ConnectParam.Builder connectParamBuilder(String host, int port) {
return ConnectParam.newBuilder().withHost(host).withPort(port);
}
public void init() {
connectParamBuilder = connectParamBuilder(IP_ADDR,PORT);
ConnectParam connectParam = connectParamBuilder.build();
milvusServiceClient =new MilvusServiceClient(connectParam);
}
public MilvusServiceClient getMilvusClient() {
return milvusServiceClient;
}
public void close() {
if (milvusServiceClient != null) {
try {
milvusServiceClient.close();
} catch (Exception e) {
e.printStackTrace();
}
}
}
}При инициализации будет создан объект MilvusServiceClient, который является основным клиентом для работы milvus. С помощью этого класса вы можете использовать его для подключения к Milvus и выполнения связанных с ним операций.
3. Инкапсуляция инструмента
Далее основное внимание уделяется тому, как работать, то есть вызывать соответствующий API для реализации добавления, удаления, изменения и запроса. Эта часть кода относительно небольшая. Прежде чем начать, нам еще нужно представить некоторые общие понятия в milvus.
Первый — DataBase: он эквивалентен библиотеке в mysql. Прежде чем создавать таблицу, вам необходимо иметь библиотеку. Эту вещь не обязательно создавать в Milvus. По умолчанию будет использоваться библиотека по умолчанию.
Тогда Коллекция: аналогична таблице в mysql. Вы должны создать ее и назвать самостоятельно. При ее создании также необходимо указать, какие поля и типы они имеют. Тогда первичный ключ в milvus должен использовать int64, что соответствует Long в Java, поэтому, если вы разрабатываете тип int в Java, не забудьте изменить его на Long при вставке.
индекс: это индекс, аналогичный индексу в MySQL, который удобен для быстрого запроса. Поскольку мы используем базу данных векторов, векторное поле должно быть установлено как индекс. Если оно не установлено, его нельзя загрузить. Если его невозможно загрузить, его нельзя использовать.
Загрузить: загрузить коллекцию. Можно добавлять, удалять, изменять и проверять только загруженную коллекцию.
Введений очень много, а цель одна. Когда я инициализирую милвус, я сначала определяю, существует ли Коллекция. Если она не существует, создаю ее. После создания мне нужно добавить индекс, а затем загрузить его. Зачем я это делаю при инициализации Ну ответ выше.
Хорошо, класс инструмента инкапсулирован, включая добавления, удаления, изменения и проверки. Обратите внимание, что я использовал класс инструмента для создания векторов. Этот класс инструмента инкапсулирован внутри и вызывает внутреннюю векторную модель. Вы можете сделать это сами. Изучите свою собственную векторную модель.
import com.alibaba.fastjson.JSON;
import com.google.common.collect.Lists;
import io.milvus.client.MilvusServiceClient;
import io.milvus.common.clientenum.ConsistencyLevelEnum;
import io.milvus.grpc.DataType;
import io.milvus.grpc.MutationResult;
import io.milvus.grpc.SearchResults;
import io.milvus.param.IndexType;
import io.milvus.param.MetricType;
import io.milvus.param.R;
import io.milvus.param.RpcStatus;
import io.milvus.param.collection.CreateCollectionParam;
import io.milvus.param.collection.FieldType;
import io.milvus.param.collection.HasCollectionParam;
import io.milvus.param.collection.LoadCollectionParam;
import io.milvus.param.dml.InsertParam;
import io.milvus.param.dml.SearchParam;
import io.milvus.param.dml.UpsertParam;
import io.milvus.param.highlevel.dml.DeleteIdsParam;
import io.milvus.param.highlevel.dml.QuerySimpleParam;
import io.milvus.param.highlevel.dml.response.DeleteResponse;
import io.milvus.param.highlevel.dml.response.QueryResponse;
import io.milvus.param.index.CreateIndexParam;
import io.milvus.response.QueryResultsWrapper;
import io.milvus.response.SearchResultsWrapper;
import org.springframework.stereotype.Component;
import java.util.*;
@Component
public class MilvusClient {
private static final String COLLECTION_NAME = "FAQ";
private static final int VECTOR_DIM = 1024;
private static final String ID_FIELD = "id";
private static final String VECTOR_FIELD = "title_vector";
private static final String TITLE = "title";
private static final String CONTENT = "content";
private final MilvusServiceClient client;
private final EmbeddingClient embeddingClient;
public MilvusClient(MilvusServiceClient client, EmbeddingClient embeddingClient) {
this.client = client;
this.embeddingClient = embeddingClient;
}
public R<RpcStatus> createCollection() {
FieldType id = FieldType.newBuilder()
.withName(ID_FIELD)
.withDataType(DataType.Int64)
.withPrimaryKey(true)
.withAutoID(false)
.withDescription(ID_FIELD)
.build();
FieldType type_id = FieldType.newBuilder()
.withName("type_id")
.withDataType(DataType.Int64)
.withDescription("type_id")
.build();
FieldType title = FieldType.newBuilder()
.withName("title")
.withDataType(DataType.VarChar)
.withMaxLength(10000)
.withDescription("title")
.build();
FieldType content = FieldType.newBuilder()
.withName("content")
.withDataType(DataType.VarChar)
.withMaxLength(10000)
.withDescription("content")
.build();
FieldType title_vector = FieldType.newBuilder()
.withName(VECTOR_FIELD)
.withDescription(VECTOR_FIELD)
.withDataType(DataType.FloatVector)
.withDimension(VECTOR_DIM)
.build();
CreateCollectionParam param = CreateCollectionParam.newBuilder()
.withCollectionName(COLLECTION_NAME)
.addFieldType(id)
.addFieldType(type_id)
.addFieldType(title)
.addFieldType(content)
.addFieldType(title_vector)
.build();
R<RpcStatus> response = client.createCollection(param);
if (response.getStatus() != R.Status.Success.getCode()) {
System.out.println(response.getMessage());
}
return response;
}
public Boolean isExitCollection(){
R<Boolean> response = client.hasCollection(
HasCollectionParam.newBuilder()
.withCollectionName(COLLECTION_NAME)
.build());
return response.getData();
}
public R<RpcStatus> loadCollection() {
LoadCollectionParam param = LoadCollectionParam.newBuilder()
.withCollectionName(COLLECTION_NAME)
.withReplicaNumber(1)
.withSyncLoad(Boolean.TRUE)
.withSyncLoadWaitingInterval(500L)
.withSyncLoadWaitingTimeout(30L)
.build();
R<RpcStatus> response = client.loadCollection(param);
if (response.getStatus() != R.Status.Success.getCode()) {
System.out.println(response.getMessage());
}
return response;
}
public R<RpcStatus> createIndex() {
CreateIndexParam param = CreateIndexParam.newBuilder()
.withCollectionName(COLLECTION_NAME)
.withFieldName(VECTOR_FIELD)
.withIndexType(IndexType.GPU_IVF_FLAT)
.withMetricType(MetricType.L2)
.withExtraParam("{\"nlist\":2048}")
.build();
R<RpcStatus> response = client.createIndex(param);
if (response.getStatus() != R.Status.Success.getCode()) {
System.out.println(response.getMessage());
}
return response;
}
public void insertMilvus(FaqRecord record) {
List<InsertParam.Field> fields = new ArrayList<>();
fields.add(new InsertParam.Field("id", Collections.singletonList(Long.valueOf(record.getId()))));
fields.add(new InsertParam.Field("type_id", Collections.singletonList(Long.valueOf(record.getTypeId()))));
fields.add(new InsertParam.Field("title", Collections.singletonList(record.getTitle())));
fields.add(new InsertParam.Field("content", Collections.singletonList(record.getContent())));
fields.add(new InsertParam.Field("title_vector", embeddingClient.getEmbedding(record.getTitle())));
InsertParam insertParam = InsertParam.newBuilder()
.withCollectionName(COLLECTION_NAME)
.withFields(fields)
.build();
R<MutationResult> response = client.insert(insertParam);
if (response.getStatus() != R.Status.Success.getCode()) {
System.out.println(response.getMessage());
}
}
public void updateMilvus(FaqRecord record) {
List<InsertParam.Field> fields = new ArrayList<>();
fields.add(new InsertParam.Field("id", Collections.singletonList(Long.valueOf(record.getId()))));
fields.add(new InsertParam.Field("type_id", Collections.singletonList(Long.valueOf(record.getTypeId()))));
fields.add(new InsertParam.Field("title", Collections.singletonList(record.getTitle())));
fields.add(new InsertParam.Field("content", Collections.singletonList(record.getContent())));
fields.add(new InsertParam.Field("title_vector", embeddingClient.getEmbedding(record.getTitle())));
UpsertParam insertParam = UpsertParam.newBuilder()
.withCollectionName(COLLECTION_NAME)
.withFields(fields)
.build();
R<MutationResult> response = client.upsert(insertParam);
if (response.getStatus() != R.Status.Success.getCode()) {
System.out.println(response.getMessage());
}
}
public List list(){
List<QueryResultsWrapper.RowRecord> rowRecords = new ArrayList<>();
QuerySimpleParam querySimpleParam = QuerySimpleParam.newBuilder()
.withCollectionName(COLLECTION_NAME)
.withOutputFields(Lists.newArrayList("*"))
.withFilter("id > 0")
.withLimit(100L)
.withOffset(0L)
.build();
R<QueryResponse> response = client.query(querySimpleParam);
if (response.getStatus() != R.Status.Success.getCode()) {
System.out.println(response.getMessage());
}
for (QueryResultsWrapper.RowRecord rowRecord : response.getData().getRowRecords()) {
System.out.println(rowRecord);
rowRecords.add(rowRecord);
}
return rowRecords;
}
public void delete(Integer id) {
List<Integer> ids = Lists.newArrayList(id);
DeleteIdsParam param = DeleteIdsParam.newBuilder()
.withCollectionName(COLLECTION_NAME)
.withPrimaryIds(ids)
.build();
R<DeleteResponse> response = client.delete(param);
if (response.getStatus() != R.Status.Success.getCode()) {
System.out.println(response.getMessage());
}
for (Object deleteId : response.getData().getDeleteIds()) {
System.out.println(deleteId);
}
}
public List search(String keyword, Integer topK) {
List<FaqRecordMilvusVO> result = new ArrayList<>();
List<List<Float>> targetVectors = embeddingClient.getEmbedding(keyword);
SearchParam param = SearchParam.newBuilder()
.withCollectionName(COLLECTION_NAME)
.withMetricType(MetricType.L2)
.withTopK(topK)
.withVectors(targetVectors)
.withVectorFieldName(VECTOR_FIELD)
.withConsistencyLevel(ConsistencyLevelEnum.EVENTUALLY)
.withOutFields(Arrays.asList(ID_FIELD, TITLE, CONTENT ))
.withParams("{\"nprobe\":10}")
.build();
R<SearchResults> response = client.search(param);
if (response.getStatus() != R.Status.Success.getCode()) {
System.out.println(response.getMessage());
}
SearchResultsWrapper wrapper = new SearchResultsWrapper(response.getData().getResults());
System.out.println("Search results:");
for (int i = 0; i < targetVectors.size(); ++i) {
List<SearchResultsWrapper.IDScore> scores = wrapper.getIDScore(i);
for (SearchResultsWrapper.IDScore score:scores) {
System.out.println(score);
Float scoreValue = score.getScore();
Map<String, Object> fieldValues = score.getFieldValues();
FaqRecordMilvusVO vo = JSON.parseObject(JSON.toJSONString(fieldValues), FaqRecordMilvusVO.class);
vo.setScore(scoreValue);
result.add(vo);
}
}
return result;
}
}Здесь есть два класса: FaqRecordMilvusVO. , FaqRecord Это два pojo, которые я определил сам для облегчения хранения данных. Возможно, вы не сможете их использовать, поэтому используйте свои собственные. Все приведенные выше коды были протестированы. Единственное напоминание здесь - мой вектор Модель То, что возвращается,List<List<Float>> При передаче сюда векторов обратите внимание, что они должны быть вложены на один уровень.
Наконец, позвольте мне опубликовать мой код инициализации. Цель инициализации — определить, существует ли коллекция при запуске моего проекта. Если нет, создайте ее самостоятельно и завершите загрузку. Кроме того, вы также можете создать базу данных и раздел, но это не обязательно. Если вы не сделаете эти две вещи, будет использован вариант по умолчанию, поэтому у меня его здесь нет.
Код инициализации проекта выглядит следующим образом:
@Component
@Slf4j
public class MilvusInitRunner implements ApplicationRunner {
@Resource
private MilvusClient milvusClient;
@Override
public void run(ApplicationArguments args) throws Exception {
log.info("Milvus init start...");
Boolean exitCollection = milvusClient.isExitCollection();
log.info("Milvus check collection [FAQ] exits Result: " + exitCollection);
if (!exitCollection) {
log.info("Milvus create collection [FAQ] start...");
R<RpcStatus> createResult = milvusClient.createCollection();
log.info("Milvus create collection [FAQ] result: {}", createResult);
log.info("Milvus create index start...");
R<RpcStatus> index = milvusClient.createIndex();
log.info("Milvus create index result: {}", index);
log.info("Milvus load collection start...");
R<RpcStatus> loadResult = milvusClient.loadCollection();
log.info("Milvus load collection result: {}", loadResult);
}
log.info("Milvus init end...");
}
}Ладно, я закончил писать. До свидания!
Углубленный анализ переполнения памяти CUDA: OutOfMemoryError: CUDA не хватает памяти. Попыталась выделить 3,21 Ги Б (GPU 0; всего 8,00 Ги Б).
[Решено] ошибка установки conda. Среда решения: не удалось выполнить первоначальное зависание. Повторная попытка с помощью файла (графическое руководство).
Прочитайте нейросетевую модель Трансформера в одной статье
.ART Теплые зимние предложения уже открыты
Сравнительная таблица описания кодов ошибок Amap
Уведомление о последних правилах Points Mall в декабре 2022 года.
Даже новички могут быстро приступить к работе с легким сервером приложений.
Взгляд на RSAC 2024｜Защита конфиденциальности в эпоху больших моделей
Вы используете ИИ каждый день и до сих пор не знаете, как ИИ дает обратную связь? Одна статья для понимания реализации в коде Python общих функций потерь генеративных моделей + анализ принципов расчета.
Используйте (внутренний) почтовый ящик для образовательных учреждений, чтобы использовать Microsoft Family Bucket (1T дискового пространства на одном диске и версию Office 365 для образовательных учреждений)
Руководство по началу работы с оперативным проектом (7) Практическое сочетание оперативного письма — оперативного письма на основе интеллектуальной системы вопросов и ответов службы поддержки клиентов
[docker] Версия сервера «Чтение 3» — создайте свою собственную программу чтения веб-текста
Обзор Cloud-init и этапы создания в рамках PVE
Корпоративные пользователи используют пакет регистрационных ресурсов для регистрации ICP для веб-сайта и активации оплаты WeChat H5 (с кодом платежного узла версии API V3)
Подробное объяснение таких показателей производительности с высоким уровнем параллелизма, как QPS, TPS, RT и пропускная способность.
Удачи в конкурсе Python Essay Challenge, станьте первым, кто испытает новую функцию сообщества [Запускать блоки кода онлайн] и выиграйте множество изысканных подарков!
[Техническая посадка травы] Кровавая рвота и отделка позволяют вам необычным образом ощипывать гусиные перья! Не распространяйте информацию! ! !
[Официальное ограниченное по времени мероприятие] Сейчас ноябрь, напишите и получите приз
Прочтите это в одной статье: Учебник для няни по созданию сервера Huanshou Parlu на базе CVM-сервера.
Cloud Native | Что такое CRD (настраиваемые определения ресурсов) в K8s?
Как использовать Cloudflare CDN для настройки узла (CF самостоятельно выбирает IP) Гонконг, Китай/Азия узел/сводка и рекомендации внутреннего высокоскоростного IP-сегмента
Дополнительные правила вознаграждения амбассадоров акции в марте 2023 г.
Можно ли открыть частный сервер Phantom Beast Palu одним щелчком мыши? Супер простой урок для начинающих! (Прилагается метод обновления сервера)
[Играйте с Phantom Beast Palu] Обновите игровой сервер Phantom Beast Pallu одним щелчком мыши
Maotouhu делится: последний доступный внутри страны адрес склада исходного образа Docker 2024 года (обновлено 1 декабря)
Кодирование Base64 в MultipartFile
5 точек расширения SpringBoot, супер практично!
Глубокое понимание сопоставления индексов Elasticsearch.
15 рекомендуемых платформ разработки с нулевым кодом корпоративного уровня. Всегда найдется та, которая вам понравится.
