крышка

введение

в интервью,Интервьюер спросил меня о моем опыте использования локального кэша.,Первое, что пришло мне в голову, былоRedis,Однако после некоторых раздумий,Это не совсем правильно. после колебания,Мне пришлось ответить, что у меня нет соответствующего опыта. После возвращения домой,Я сразу проверил соответствующую информацию,Только тогда я обнаружил,Оказывается, это поле есть в локальном кэше.,Здесь так много скрытых тайн.

1. Введение в Redis

The open source, in-memory data store used by millions of developers as a database, cache, streaming engine, and message broker.

Простой перевод: программное обеспечение для хранения данных в памяти с открытым исходным кодом, используемое миллионами разработчиков в качестве базы данных, кэша, механизма потоковой передачи и брокера сообщений.

1.1 Что такое Редис

Судя по официальному представлению, помимо функции кэширования, он также имеет множество привлекательных функций. Однако сегодня мы сосредоточимся только на функциональности кэширования. Когда я впервые узнал об этом, я сравнил его с MySQL, которая привлекла большое внимание как база данных NoSQL в памяти. Учитывая узкое место базы данных с точки зрения ввода-вывода и тот факт, что большинство операций связаны только с чтением данных, мы рассмотрели возможность введения промежуточного уровня для кэширования части данных и предоставления их клиенту.

В истории вычислений всегда существовало мнение, что любую проблему в области вычислений можно решить, добавив промежуточный слой.

Как правило, разница между уникальной скоростью записи диска и памяти составляет более 10 раз.

Redis родился по похожему сценарию. На заре существования веб-сайта из-за небольшого количества посещений было возможно использовать JavaScript для подсчета и мониторинга различных данных. Однако по мере роста объема данных рабочая нагрузка по обслуживанию продолжает увеличиваться, и диск становится узким местом. Поэтому автор Redis написал эту базу данных в памяти на языке C.

Причина, по которой Redis называется Redis, заключается в том, что весь его процесс представляет собой службу REmote DIctionary Service, которая интерпретируется как служба удаленного словаря. (Это также соответствует местному).

Функции

• Храните неструктурированные данные Поскольку это словарная служба, по сути, это служба, хранящая неструктурированные типы данных (ключ:значение).
• Большой объем памяти и высокая скорость одновременной записи На уровне хранилища Redis предоставляет множество специальных структур данных для различных предприятий. Кроме того, Redis, являясь базой данных в памяти, обеспечивает высокую производительность чтения и записи.
• распределенный Распределенная реализация Redis в основном опирается на две основные концепции Redis Sentinel и Redis Cluster.

1.2 Основные функции Redis

Согласно официальному описанию, его основные функции разделены на четыре части: база данных, кеш, механизм потоковой передачи и брокер сообщений.

ⅠВ качестве базы данных

Поскольку это база данных, хранящаяся в памяти, потеря данных может легко произойти после отключения питания или сбоя. Затем он также разрабатывает стратегию. Это персистентность, разделенная на RDB и AOF.

• RDB записывает данные на жесткий диск в течение определенного практического интервала.
• AOF записывает каждую полученную команду на жесткий диск.

Так какой из них лучше? Ответ: я хочу их всех. Хорошо это или нет, во многом зависит от вашего сценария использования. Что подходит, то и лучше.

Ⅱ Кэш

Обычно это самая важная функция, которую мы используем Redis. Пока у нее нет конкурентов в базах данных NoSQL.

Ⅲ Стриминговый движок

Тогда мне интересно, что такое потоковой двигатель?

Механизмы потоковой передачи — это способ обработки постоянных потоков данных, управляемых событиями. В потоке данных каждое событие соответствует элементу данных, и каждый элемент добавляется, изменяется или удаляется в течение определенного интервала времени. Механизмы потоковой передачи обычно используются в сценариях обработки данных в реальном времени, таких как очереди сообщений, архитектура, управляемая событиями, анализ данных в реальном времени и т. д.

Похоже, что он действительно похож на Message Queuing (MQ), и его удобнее использовать с операцией персистентности Redis. В практических сценариях применения его можно использовать в качестве промежуточного потока сообщений для обмена мгновенными сообщениями, анализа веб-данных, системных журналов и т. д.

Ⅳ Брокер сообщений

Эта функция в основном используется, чтобы позволить Redis выполнять асинхронную связь и приложения, управляемые событиями, в реальном времени между несколькими узлами.

Поскольку Redis поддерживает модель публикации/подписки, это очень важное средство.

Конечно, это также может служить промежуточным прокси-сервером для микросервисов.

1.3 Сценарии применения Redis

Если вы просто задумаетесь о том, какие ресурсы может сэкономить кэширование, возможно, вы некоторое время не сможете ответить на этот вопрос. Но если исходить из структуры данных Redis, вдохновения будет много.

• ① Строка Распределенная блокировка, глобальный идентификатор
• ② Хэш Храните объекты и информацию о корзине.
• ③ Список списка Очередь сообщений, временная шкала сообщений пользователя
• ④ набор набор Лотерея, типа, войдите, вбейте, Тег продукта пользовательсосредоточиться на： взаимныйсосредоточиться на？пересечение ясосредоточиться налюди такжесосредоточиться на него? пересечение Кто-то, кого вы можете знать? набор различий

Здесь есть еще много случаев, и все они основаны на богатых структурах данных.

Структура данных и функции Redis

2. Знакомство с локальным кешем

Прежде чем обращаться к удаленному кешу, многие кеши фактически используются в процессе неявно, например, кеш ORM и строковый кеш JDK (постоянный пул).

Понимание этого в Java на самом деле представляет собой большую карту.

2.1 Локальный кеш

Если мы хотим реализовать кэш самостоятельно, что нам нужно учитывать?

• Область вызова. Если вы полагаетесь на Spring Boot, вы можете зарегистрировать его в классе запуска и использовать глобально (немного опасно).
• Срок годности Если память занята в течение длительного времени, это неизбежно приведет к сбою программы, поэтому подумайте об истечении срока действия и удалении.
• последовательность Это очень распространенная проблема в кэшировании. Ключ заключается в том, полностью ли бизнес ей доверяет и применяет ли другие стратегии.
• Параллелизм и блокировки JDK предоставляет пакет JUC, и коллекции в нем очень полезны.
• Масштабируемость Можно ли повторно расширить приложение плагина?

Принимая все во внимание, это на самом деле большая проблема. К счастью, экосистема Java достаточно сильна.

2.2 Зрелая структура

Guava Cache

Guava Cache — это локальная библиотека инструментов кэширования с открытым исходным кодом, разработанная Google. Ее дизайн вдохновлен ConcurrentHashMap. Она использует мелкозернистые блокировки в нескольких сегментах для обеспечения безопасности потоков, одновременно поддерживая требования к сценариям с высоким уровнем параллелизма и поддерживая несколько типов стратегий очистки кэша. очистка на основе емкости, очистка на основе времени, очистка на основе ссылок и т. д.

Важным контейнером пакета JUC является ConcurrentHashMap, созданный на его основе и имеющий более мелкую детализацию блокировок. В сочетании с полной реализацией в мышлении и родилась такая основа. Судя по Google, существует определенная гарантия прочности. Вначале он стал встроенным кешем Spring.

Caffeine

Caffeine — это библиотека кэширования Java с открытым исходным кодом, которая обеспечивает высокую частоту попаданий и отличные возможности параллелизма. Caffeine поддерживает параллелизм и доступ к данным временной сложности O(1), аналогично структуре данных ConcurrentMap, но предоставляет стратегию автоматического удаления «редко используемых» данных для поддержания разумного использования памяти. В Caffeine данные можно кэшировать из локальной памяти приложения Java, чтобы повысить производительность и скорость реагирования приложения. Caffeine предоставляет четыре стратегии добавления кэша, включая ручную загрузку, автоматическую загрузку, ручную асинхронную загрузку и автоматическую асинхронную загрузку.

Усовершенствованный Guava и ставший первым выбором платформы кэширования в Spring 5, это Caffeine, и его название очень похоже на Java.

Ява, остров Ява, богат кофе. Итак, иконка Java — это форма кофе. Кофеин: кофеин

Java

2.2 Основные сценарии локального кэша

Помимо вышеперечисленных фреймворков, локальное кэширование действительно прошло длительный период развития. Так что же с ними сделали разработчики?

• Кэш базы данных Это похоже на идею удаленного кэширования. В рамках ORM такая возможность кэширования доступна. Например, кэш третьего уровня MyBatis. Конечно, если кеш этого не понимает, данные очень легко прочитать или изменить, что приведет к путанице.
• Кэширование сетевых запросов Кэширование сетевых запросов также является важной частью одного из нескольких сценариев ввода-вывода.

3. Почему вам нужно иметь и то, и другое

После сравнения преимуществ и недостатков этих двух вариантов, я думаю, у вас уже есть ответ. Но здесь я кратко изложу свою точку зрения.

• Адаптируйтесь к потребностям различных сценариев Даже в распределенной системе фреймворк реализовал для нас необходимость локального кэша, нам все равно нужно сосредоточиться и оптимизировать его. Локальный кеш: более ориентирован на отдельные службы/приложения, сокращает количество операций ввода-вывода и повышает производительность. Распределенный кеш: подходит для комплексных приложений в более крупных сценариях, глобальный кеш.
• Компромисс затрат и выгод Хотя внедрение новых технологий может принести высокую прибыль, оно также сопряжено с высокими рисками. Поэтому предприятиям следует сосредоточиться на экономии затрат на технологии, а также затрат на эксплуатацию и техническое обслуживание в процессе разработки, даже если новая технология действительно очень полезна.

в заключение

Независимо от технологии, лучшим выбором будет та технология, которая лучше всего соответствует потребностям вашего бизнеса.

я正在参与На втором этапе специального тренировочного лагеря Tencent Technology Creation 2023 года будут отмечены призовые эссе, которые разделят призовой фонд в 10 000 юаней и часы с клавиатурой.