Новейшие общие велосипеды теперь общедоступныданныеможет быть, толькоОткрытая платформа данных муниципального правительства Шэньчжэня[1]опубликованоФорма ежедневного заказа для компаний по совместному использованию велосипедовПонятно,данные Количество включает в себя2017-04-03приезжать2021-08-30из 2.4 миллиардов фрагментов данных, в общей сложности примерно 24G размер:

Статус «Формы ежедневного заказа Shenzhen Shared Bike Enterprise» в базе данных

Шэньчжэнь действительно является пионером реформ, располагая таким огромным объемом общедоступных данных.

Такой большой объем данных, конечно, невозможно загрузить напрямую. Прямая загрузка содержит только первые 100 000 записей этого набора данных.

Поля, включенные в каждый фрагмент данных:

Шэньчжэньданные Открытая платформа также обеспечиваетИнтерфейс данных вызоваизспособ загрузки：

Интерфейсы данных (API) это современное программированиеиз База,Можетпроходить Несколько языков программированияи Реализация инструмента。JavaScript、Pythonждать Несколько языков программированияи Инструменты Можетвызов Api。

Каждый метод имеет свои конкретные сценарии использования и преимущества. Какой подход вы выберете, зависит от потребностей вашего проекта, используемого стека технологий и ваших личных знаний или опыта команды. Например, если вы разрабатываете веб-приложение, JavaScript может быть наиболее простым выбором, если это серверная система корпоративного уровня, Java или C# могут оказаться более подходящими. Для создания сценариев или автоматизации задач команды Python или Shell, вероятно, являются самым простым способом.

Выбираем простые, популярные Python выполнятьданныеполучать,использоватьиз МетодrequestsБиблиотека,или ВОЗМожетиспользоватьhttp.clientили Сторонние библиотеки, такие какaiohttp（Асинхронный запрос）。 специфический Инструкции по вызову Видетьсайт[2]начальствоиз【Инструкции по вызову】。

Мы, конечно, не можем сохранить все такие огромные данные в файлах Json или CSV. Для сценариев с большими объемами данных (270 миллионов фрагментов данных), таких как общий анализ заказов велосипедов, нам необходимо выбрать подходящую базу данных.

Данные заказа включают временные ряды и геопространственные данные, поэтому необходима база данных, которая может эффективно обрабатывать крупномасштабные наборы данных и поддерживать временные и пространственные запросы.

Вот некоторые рекомендуемые параметры базы данных:

1. Расширение PostgreSQL + PostGIS:

• PostgreSQL это мощная база взаимоотношений с открытым исходным кодом данныхсистема。
• ввести PostGIS Расширять, который сможет эффективно обрабатывать геопространственные данные.
• Поддержка сложных запросов и индексов,Подходит для временных рядов и пространственных данных.

1. MongoDB[3]:

• MongoDB является гибким NoSQL База документов данных。
• Он поддерживает геопространственное индексирование и запросы.
• Больше подходит для быстрого развития и горизонтального расширения.

Кроме того, согласно моему пониманию базы данныхиз Быть в курсе ситуации,я выбираюMongoDBхранитьмойбаза данных。

Поэтому нам просто нужно использовать Python написатьrequestsпросить,Затем сохраните данные в базу данных.

Потратив некоторое время (фактически запустив программу на Raspberry Pi в течение дня), я получил все 24 ГБ данных.

Если вам нужно получить данные по времени, вы можете отфильтровать данные, добавив параметры startDate и endDate. ты можешь

Далее, давайте кратко рассмотрим использование услуг совместного пользования велосипедами в Шэньчжэне.

На этот раз давайте сначала возьмем данные за один день — 5 августа 2021 года.

После объединения координат в координаты GPS мы выполняем простую визуализацию, как показано ниже. Каждая красная точка представляет собой отправную точку общего велосипеда:

В этот день имеется более миллиона фрагментов данных о заказе, и каждый фрагмент данных содержит время начала и окончания заказа, а также информацию о широте и долготе. Конечно, есть много выбросов, которые требуют дальнейшей проверки. то есть очистка данных.

Так как статус блокировки переключателя не предусмотрен,Невозможно отфильтровать данные по статусу заказа.,проходить Наблюдения МожетотОчистке данных подлежат расстояние, средняя скорость, а также местонахождение пункта отправления и назначения заказа в Шэньчжэне.。

Я напрямую удалил данные с расстоянием заказа 0 метров и расстоянием заказа больше 40км. Общий объем данных был уменьшен с 1158199 до 1132736.

Мы используем эту часть данных для анализа моделей использования общих велосипедов, а также можем выполнить определенный анализ пространственных данных на основе пространственного распределения.

Поэтому сначала мы описываем данные, уделяя особое внимание распределению времени езды, количеству поездок и расстоянию поездки.

1. Описание данных

1. Распределение времени езды на велосипеде

Наблюдая за временем использования общих велосипедов, мы обнаружили ритм городской жизни. Пиковые данные в утренние и вечерние часы пик не только отражают поток людей, едущих на работу и обратно, но также показывают лучшее время для распределения и обслуживания транспортных средств.

На этом изображении представлена ​​гистограмма, показывающая распределение общих заказов на велосипеды в Шэньчжэне за 24 часа 5 августа 2021 года. Горизонтальная ось представляет час дня (от 0 до 23 часов), а вертикальная ось — количество заказа.

Как видно из рисунка, явный пик количества заказов приходится на определенный период утра (около 8 часов), когда все начинают идти на работу. В последующие часы количество заказов постепенно уменьшалось, пока количество заказов снова не увеличилось в дневной период (между 16:00 и 17:00), образуя второй пик, который может соответствовать времени, когда люди уходят с работы. Вечером количество заказов постепенно снижается, пока не достигнет самой низкой точки в период поздней ночи.

Подобный анализ помогает операторам совместного использования велосипедов понять модели использования пользователей, чтобы они могли более эффективно распределять транспортные средства и обеспечивать наличие достаточного количества транспортных средств в период пикового спроса.

2. Количество аттракционов и локаций

Подсчитав количество поездок в разных районах, мы нарисовали тепловую карту города.

Сохраните тепловую карту как html веб-страница, на этой веб-странице есть 30M Размер, онлайн-доступ может быть медленным, можете сосредоточиться на том, что хотите. на Публичный аккаунт WeChat“renhai-lab”отправлять“Тепловая карта общего пользования велосипедов в Шэньчжэне 1”получатьвеб-страницаиз Ссылка для скачивания。

Демонстрация тепловой карты

3. Распределение расстояний

Распределение расстояний

Этот рисунок содержит четыре подграфика, которые показывают распределение данных в разных масштабах. Каждый подграфик имеет ось X, представляющую «пройденное расстояние (метры)», и ось Y, представляющую «вероятность». Графики представляют собой графическое представление функции плотности вероятности (PDF), причем каждый подграфик охватывает различный диапазон расстояний езды, показывая распределение общих расстояний езды на велосипеде.

На этих подграфиках можно заметить, что вероятность постепенно снижается по мере увеличения расстояния езды, что указывает на то, что частота поездок на короткие дистанции выше. Это ожидаемо, поскольку люди обычно используют общие велосипеды для коротких поездок. По мере увеличения расстояния все меньше пользователей могут выбрать поездку, что приводит к снижению вероятности. Эти графики можно использовать для анализа типичных значений пройденного расстояния, тем самым помогая компаниям по совместному использованию велосипедов оптимизировать свои стратегии распределения и планирования транспортных средств.

Вышеперечисленное - это только часть списка данных Работа,Мы также МожетрисоватьГрафик среднего времени в пути、Объем поездок между зонами движения、Диаграмма начальной и конечной точек (диаграмма OD) общих велосипедов.,Например, нарисуйте карту ОД города.,Например, картинка нижеКарта соединения общих велосипедов, прибывающих на определенную станцию ​​метро в определенный день в Шанхае——Изображение из«Пространственно-временной анализ больших данных о трафике, их анализ и визуализация (версия Python)»[15],Описывает карту распределения общих велосипедов и трансферов на метро вокруг станции метро Tongji University.

Я напишу это первым сегодня,Эта статья будет вмойблог[16]возобновлять,Может НажмитеПрочитать оригинальный текст[17]доступ。

Если у вас есть комментарии к этой статье, вы заинтересованы в том, как сделать диаграммы в статье, или у вас есть другие вопросы, вы можете оставить сообщение в разделе комментариев блога или отправить мне личное сообщение через Официальный аккаунт WeChat.

Общий список общедоступных данных о велосипедах

1. Ежедневный список заказов компаний по совместному использованию велосипедов в Шэньчжэне

Введение данных:Открытая платформа данных муниципального правительства Шэньчжэня[22]опубликованоФорма ежедневного заказа для компаний по совместному использованию велосипедовПонятно,данные Количество включает в себя 2.4 миллиардов фрагментов данных.

время:2017-04-03приезжать2021-08-30

Ссылка: https://opendata.sz.gov.cn/data/dataSet/toDataDetails/29200_00403627.

Предварительный просмотр данных:

поискданныеиз Я узнал, что кто-то уже интегрировал его Понятно：По содержанию Публичный аккаунт WeChat【кубданные Общество】Опубликовано в【Обмен данными】8 Общие данные о велосипедах в городах (объем данных ок. 10 миллиарды\бесплатный доступ),В этой статье выбираются отечественные города,Иностранные данные могут посетить исходный текст для просмотра.

2. Данные о мотоциклах в Шанхае

время: август 2016 г.

Введение данных: Данные о совместных велосипедах, предоставленные пользователем сообщества китов, включая Шанхай, август. 2016 В г. имеется более 100 000 велосипедов Mobike. данные Ссылка: https://www.heywhale.com/mw/dataset/5d315ebbcf76a60036e565bf

Поля данных: номер заказа, номер транспортного средства, номер пользователя, время начала, начальная позиция, время окончания、конечное положение、траектория.

3. Данные о велосипедах в Пекине (алгоритм Mobike Cup)

Введение данных:2017 Общие данные о велосипедах, опубликованные Mobike Algorithm Challenge, включая Пекин 2017 Год 5 В течение двух недель месяца 40 Ю Вань поделился велосипедным одеялом 30 Используется десятками тысяч пользователей, в том числе 300 Более 10 000 записей о путешествиях. Ссылка на данные: https://www.biendata.xyz/competition/mobike/data/.

Поля данных:Номер заказа、пользователь удостоверение личности, транспортное средство удостоверение личности, транспортное средствотип、Дата и время начала поездки、Расположение стартового блока на велосипеде、Расположение блока назначения для езды на велосипеде

4. Сямэнь поделился данными о велосипедах

Введение данных:2021 Конкурс инноваций в цифровом Китае объявлен городом Сямэнь 2020 Год 12 луна 21 Вс-2020 Год 12 луна 25 Общие данные о траектории велосипеда за пять дней. Ссылка на данные: https://data.xm.gov.cn/contest-series/digit-china-2021/index.html#/3/competition_data.

Поля данных:общий велосипед ID, время позиционирования, долгота (WGS84 координаты), широта (WGS84 координаты), источник общих велосипедов

Ссылки

[1]

Открытая платформа данных муниципального правительства Шэньчжэня: https://opendata.sz.gov.cn/

[2]

сайт: https://opendata.sz.gov.cn/data/api/toApiDetails/29200_00403627

[3]

MongoDB: https://www.mongodb.com/

[4]

транспорт时空大анализ данных、Майнинг и визуализация(Pythonверсия): http://www.baidu.com/link?url=R4RQ5Tny7VHR4oagI4Ap5yRHVy8okwXT5U-zBfquwJRnsvKsjgZnBKm50Mzbeo9XtElGnZUchLCWsPyfLmEUz_

[5]

Мой блог: https://cdn.renhai-lab.tech/

[6]

Прочтите оригинальный текст: https://cdn.renhai-lab.tech/archives/Анализ данных о совместном использовании велосипедов

[7]

Мой блог: https://cdn.renhai-lab.tech/

[8]

мой GITHUB: https://github.com/renhai-lab

[9]

мой GITEE: https://gitee.com/renhai-lab

[10]

мой Чжиху: https://www.zhihu.com/people/Ing_ideas

[11]

Открытая платформа данных муниципального правительства Шэньчжэня: https://opendata.sz.gov.cn/

[12]

Открытая платформа данных муниципального правительства Шэньчжэня: https://opendata.sz.gov.cn/

[13]

сайт: https://opendata.sz.gov.cn/data/api/toApiDetails/29200_00403627

[14]

MongoDB: https://www.mongodb.com/

[15]

транспорт时空大анализ данных、Майнинг и визуализация(Pythonверсия): http://www.baidu.com/link?url=R4RQ5Tny7VHR4oagI4Ap5yRHVy8okwXT5U-zBfquwJRnsvKsjgZnBKm50Mzbeo9XtElGnZUchLCWsPyfLmEUz_

[16]

Мой блог: https://cdn.renhai-lab.tech/

[17]

Прочтите оригинальный текст: https://cdn.renhai-lab.tech/archives/Анализ данных о совместном использовании велосипедов

[18]

Мой блог: https://cdn.renhai-lab.tech/

[19]

мой GITHUB: https://github.com/renhai-lab

[20]

мой GITEE: https://gitee.com/renhai-lab

[21]

мой Чжиху: https://www.zhihu.com/people/Ing_ideas

[22]

Открытая платформа данных муниципального правительства Шэньчжэня: https://opendata.sz.gov.cn/