JSON Lines[1],Как следует из названия,То есть каждая строка представляет собой JSON — это текстовый формат.

Формат JSON Lines стал популярным выбором при обработке и анализе больших наборов данных. JSON Lines упрощает чтение и обработку данных построчно, помещая каждый объект JSON в независимую строку. Он легко обрабатывает большие наборы данных, легко интегрируется с существующими инструментами, гибок и масштабируем, а также прост в чтении и обслуживании. функции.

По сравнению с традиционным форматом JSON, JSON Lines не требует загрузки всего файла сразу, а может считывать и обрабатывать данные построчно. Это свойство делает линии JSON идеальными для обработки больших наборов данных, не беспокоясь об ограничениях памяти или проблемах с производительностью.

Возможности линий 1JSON

1. Закодировано в UTF-8;
2. Каждая строка должна быть допустимым объектом JSON;
3. существоватькаждый JSON возражать, принимать \n или \r\n в качестве разделителя строк;
4. Предлагаемое соглашение：
   • JSON Файлы строк обычно используют расширение файла .jsonl держать
   • Рекомендуется использовать что-то вроде gzip или bzip2 Такой компрессор потока для экономии места генерирует .jsonl.gz или .jsonl.bz2 документ
   • MIME Тип может быть application/jsonl,Но это Еще не стандартизировано[2]
   • Программы редактирования текста называют первую строку текстового документа «строкой 1». JSON Первое значение в файле Lines также следует называть «1-м значением».

2 Дать каштан

Файл JSON размером 1 ГБ. Когда нам нужно прочитать/записать контент, нам нужно прочитать весь файл, сохранить его в памяти, проанализировать его и работать с ним, что не рекомендуется.

Если вы используете строки JSON для сохранения файла, при работе с данными нам не нужно читать весь файл, а затем анализировать и обрабатывать его. Вместо этого в соответствии с характеристикой, согласно которой каждая строка в файле строк JSON является значением JSON. мы можем анализировать и работать во время чтения. Например: при вставке значения JSON нам нужно только добавить значение в файл. Поэтому при работе с файлами JSON Lines вам нужно всего лишь:

1. Прочитайте строку значений;
2. Разобрать значение в JSON;
3. Повторите шаги 1 и 2.

Формат JSON Lines идеально подходит для обработки больших наборов данных, таких как файлы журналов. Он облегчает анализ и обработку в сценариях больших данных, считывая и обрабатывая данные построчно. В то же время его гибкость и масштабируемость позволяют нам определять собственные структуры данных по мере необходимости.

{"name": "Gilbert", "wins": [["straight", "7♣"], ["one pair", "10♥"]]}
{"name": "Alexa", "wins": [["two pair", "4♠"], ["two pair", "9♠"]]}
{"name": "May", "wins": []}
{"name": "Deloise", "wins": [["three of a kind", "5♣"]]}

JSON Lines Преимущества максимальны при работе с большим количеством одинаковых вложенных структур данных. По сравнению с каталогом, полным файлов XML, использование .jsonl Документами легче манипулировать.

Итак, как преобразовать строки JSON в формат JSON? Код ниже представляет собой пример JavaScript:

const jsonLinesString = `{"name": "Gilbert", "wins": [["straight", "7♣"], ["one pair", "10♥"]]}
{"name": "Alexa", "wins": [["two pair", "4♠"], ["two pair", "9♠"]]}
{"name": "May", "wins": []}
{"name": "Deloise", "wins": [["three of a kind", "5♣"]]}`;

const jsonLines = jsonLinesString.split(/\n/);

const jsonString = "[" + jsonLines.join(",") + "]";

const jsonValue = JSON.parse(jsonString);

console.log(jsonValue);

Уведомление

Если у вас большие вложенные структуры, не рекомендуется читать напрямую. JSON Lines текст. использовать jq Инструменты упрощают просмотр больших структур:

$ grep pair winning_hands.jsonl | jq .
{
  "name": "Gilbert", 
  "wins": [
    [
      "straight", 
      "7♣"
    ], 
    [
      "one pair", 
      "10♥"
    ]
  ]
}
{
  "name": "Alexa", 
  "wins": [
    [
      "two pair", 
      "4♠"
    ], 
    [
      "two pair", 
      "9♠"
    ]
  ]
}

3 проверка формата

https://jsonlines.org/validator/ предоставляет онлайн-инструмент проверки формата, который может проверить, находится ли контент в допустимом формате JSON Lines.

4files2jsonl

files2jsonl[3] Содержимое нескольких текстовых файлов (может быть отфильтровано по типу файла) по одному пути может быть выведено в один JSON Lines форматировать файл. В выходном файле каждая строка представляет входной файл. JSON Нить.

Конкретный формат следующий:

{"text": "content_of_source_file_1", "url": "absolute_path_to_source_file_1"}
{"text": "content_of_source_file_2", "url": "absolute_path_to_source_file_2"}
{"text": "content_of_source_file_3", "url": "absolute_path_to_source_file_3"}
...

Примеры использования

./files2jsonl -d /path/to/src \
-i xml,pom,java,groovy,yml,yaml,properties,json,sql,htm,vue,json,html,js,md,sh \
-o /path/to/target

• -d Укажите путь к исходному документу
• -i Укажите тип документа, который необходимо включить,Не чувствителен к регистру,Можно опустить,Указывает весь документ
• -o Укажите путь вывода документа, а вывод по умолчанию — текущий путь.

существовать Releases[4] Pages могут загружать предварительно скомпилированные версии этого инструмента, например Windows x86_64 Доступно в битовой среде files2jsonl_win_amd64.exe

Вы можете использовать следующую команду, чтобы C:/Users/Administrator/Desktop Все содержимое файла по указанному пути выводится в JSON Lines В файле:

files2jsonl_win_amd64.exe -d C:/Users/Administrator/Desktop

Не используется -o Когда параметр указывает выходной документ, текущий путь существования по умолчанию генерирует data.jsonl файлы и data.jsonl.gz документ:

{"text":"#!/bin/bash\nnohup ... \n","url":"C:\\Users\\Administrator\\Desktop\\start.sh"}
{"text":"package com.xxx.entity;\r\n","url":"C:\\Users\\Administrator\\Desktop\\Test.java"}
...

Ссылки

[1]

JSON Lines: https://jsonlines.org/

[2]

Еще не стандартизировано: https://github.com/wardi/jsonlines/issues/19

[3]

files2jsonl: https://github.com/AlphaHinex/go-toolkit/tree/main/files2jsonl

[4]

Releases: https://github.com/AlphaHinex/go-toolkit/releases