Всем привет, мы снова встретились, я ваш друг Цюаньчжаньцзюнь.

Первый этап:большие данныеБазовый уровень языка Java

1.1: Введение в разработку Java

1.1.1 История развития Java

1.1.2 Области применения Java

1.1.3 Характеристики языка Java

1.1.4 Объектно-ориентированный Java

1.1.5 Классификация производительности Java

1.1.6 Настройка среды Java

1.1.7 Как работает Java

1.2: Знание инструментов разработки Eclipse.

1.2.1 Знакомство с Eclipse и загрузка

1.2.2 Установите китайский языковой пакет Eclipse

1.2.3 Конфигурация и запуск Eclipse

1.2.4 Рабочая среда Eclipse и представления

1.2.5 Представление «Проводник пакетов»

1.2.6 Использование Eclipse

1.2.7 Использование редактора для написания программного кода

1.3: Основы языка Java

1.3.1 Структура основного класса Java

1.3.2 базовыйданныетип

1.3.3 Переменные и константы

1.3.4 Операторы Java

1.3.5 Преобразование типов данных

1.3.6 Комментарии к коду и стандарты кодирования

1.3.7 Справочная документация по Java

1.4: Управление процессом Java

1.4.1 Составное заявление

1.4.2 Условные операторы

1.4.3 если условный оператор

1.4.4 оператор переключения нескольких ветвей

1.4.5 оператор цикла while

1.4.6 оператор цикла do… while

1.4.7 для оператора цикла

1.5: Строки Java

1.5.1 Класс строки

1.5.2 Строка подключения

1.5.3 Получение строковой информации

1.5.4 Строковые операции

1.5.5 Строка формата

1.5.6 Использование регулярных выражений

1.5.7 Генератор струн

1.6: Массивы Java в сравнении с классами и объектами

1.6.1 Обзор массива

1.6.2 Создание и использование одномерных массивов

1.6.3 Создание и использование двумерных массивов

1.6.4 Основные операции с массивами

1.6.5 Алгоритм сортировки массива

1.6.6 Классы и конструкторы Java

1.6.7 Объекты, свойства и поведение Java

1.7: Цифровая обработка и основные технологии

1.7.1 Форматирование чисел и операции

1.7.2 Случайные числа и операции с большими данными

1.7.3 Наследование классов и класс Object

1.7.4 Преобразование типа объекта

1.7.5 Использование оператора экземпляра для определения типа объекта

1.7.6 Перегрузка методов и полиморфизм

1.7.7 Абстрактные классы и интерфейсы

1.8: Ввод-вывод и отражение, многопоточность

1.8.1 Обзор потока и класс файла

1.8.2 Поток ввода/вывода файлов

1.8.3 Кэширование потоков ввода/вывода

1.8.4 Класс класса и отражение Java

1.8.5 Информация о типе функции аннотации

1.8.6 Перечислимые типы и дженерики

1.8.7 Создание, работа потоков и потокобезопасность

1.9: Программы Swing и классы коллекций

1.9.1 Часто используемые формы

1.9.2 Компоненты и значки этикеток

1.9.3 Общие менеджеры компоновки и панели

1.9.4 Компонент кнопки и компонент списка

1.9.5 Обычные прослушиватели событий

1.9.6 Обзор классов коллекций

1.9.7 Коллекция наборов, коллекция карт и интерфейс

1.10: Макет веб-сайта для ПК

1.10.1 Основы HTML, основы CSS, основные свойства CSS

1.10.2 Каскадирование стилей CSS, наследование, блочная модель

1.10.3 Контейнеры, переполнение и типы элементов

1.10.4 Совместимость с браузером и адаптируемость по ширине и высоте

1.10.5 Расположение, опорные точки и прозрачность

1.10.6 Интеграция изображений

1.10.7 Таблицы, свойства CSS и фильтры

1.10.8 Оптимизация CSS

1.11: Основы HTML5+CSS3

1.11.1 Новые элементы и атрибуты в HTML5

1.11.2 Селекторы CSS3

1.11.3 Стили, связанные со шрифтами текста

1.11.4 Обработка смещения и деформации CSS3

1.11.5 CSS3 2D, 3D-преобразование и анимация

1.11.6 Гибкая блочная модель

1.11.7 Запросы СМИ

1.11.8 Адаптивный дизайн

1.12: Проект макета страницы WebApp

1.12.1 Характеристики дизайна мобильной страницы

1.12.2 Вырезание изображений на мобильном терминале

1.12.3 Поток текста/гибкость управления/пропорциональный макет изображения

1.12.4 Схема пропорционального масштабирования

1.12.5 viewport/meta

1.12.6 Использование rem/vw

1.12.7 Подробное объяснение флексбокса

1.12.8 Обработка специального стиля мобильного Интернета

1.13: Разработка собственных функций JavaScript

1.13.1 Что такое JavaScript

1.13.2 Использование и принципы работы JavaScript

1.13.3 Основной синтаксис JavaScript

1.13.4 Встроенные объекты JavaScript

1.13.5 Событие, принцип события

1.13.6 Создание базовых спецэффектов на JavaScript

1.13.7 Хранение файлов cookie

1.13.8 Регулярные выражения

1.14: Асинхронное взаимодействие Ajax

1.14.1 Обзор и характеристики Ajax

1.14.2 Как работает Ajax

1.14.3 Объект XMLHttpRequest

1.14.4 Синхронный и асинхронный

1.14.5 Асинхронное взаимодействие Ajax

1.14.6 Междоменные проблемы Ajax

1.14.7 Обработка данных Ajax

1.14.8 Взаимодействие в реальном времени на основе WebSocket и push-уведомлений

1.15: Приложение JQuery

1.15.1 Использование и оптимизация применения каждого селектора

1.15.2 Различные операции узлов Dom

1.15.3 Обработка событий, инкапсуляция и применение

1.15.4 Использование различных анимаций в jQuery

1.15.5 Разработка юзабилити-форм

1.15.6 jQuery Ajax, функции, кеширование

1.15.7 Написание плагинов, расширений и приложений с помощью jQuery

1.15.8 Понимание модульной разработки и применения

1.16: База данных

1.16.1 База данных Mysql

1.16.2 Разработка JDBC

1.16.3 Пул соединений и DBUtils

1.16.4 Введение в Oracle

1.16.5 Введение в базу данных MongoDB

1.16.6 сервер Apache/сервер Nginx

1.16.7 Система кэширования объектов памяти Memcached

1.17: Ядро разработки JavaWeb

1.17.1 Технология XML

1.17.2 Протокол HTTP

1.17.3 Анализ принципа работы сервлета

1.17.4 Углубленное понимание сеанса и файлов cookie

1.17.5 Архитектура системы Tomcat и шаблон проектирования

1.17.6 Синтаксис JSP и встроенные объекты

1.17.7 Технология JDBC

1.17.8 Статическая архитектура системы просмотра больших страниц

1.18: Веб-разработка на Java изнутри

1.18.1 Глубокое понимание процесса веб-запроса

1.18.2 Как работает ввод-вывод Java

1.18.3 Китайская кодировка Java Web

1.18.4 Принцип компиляции Javac

1.18.5 файловая структура классов

1.18.6 Механизм работы ClassLoader

1.18.7 Архитектура JVM и методы работы

1.18.8 Управление памятью JVM

Второй этап: Linux-система, экосистема Hadoop

2.1: Система Linux (1)

2.1.1 Процесс установки виртуального программного обеспечения VMware Workstation и процесс установки виртуальной машины CentOS

2.1.2 Понимание стоечных серверов и развертывание Linux с использованием реальных стоечных серверов

2.1.3 Общие команды Linux: введение в общие команды, использование и практика использования общих команд

2.1.4 Основные принципы управления процессами системы Linux и использование соответствующих инструментов управления, таких как ps, pkill, top, htop и т. д.

2.1: Система Linux (2)

2.1.5 Процесс запуска Linux, подробное объяснение уровня запуска, подробное объяснение chkconfig

2.1.6 Редактор VI и VIM: введение в редактор VI и VIM, использование VI и VIM и общие сочетания клавиш.

2.1.7 Управление учетными записями пользователей и групп Linux: управление пользователями и управление группами

2.1.8 Управление дисками Linux, логический том lvm, подробное объяснение nfs

2.1: Система Linux (3)

2.1.9 Управление разрешениями файлов в системе Linux: введение в права доступа к файлам и работа с разрешениями файлов

2.1.10 Управление программными пакетами RPM для Linux: введение в пакеты RPM, установка, удаление и другие операции RPM.

2.1.11 команда yum, конструкция источника yum

2.1.12 Сеть Linux: введение в сеть Linux, настройка и обслуживание сети Linux.

2.1: Система Linux (4)

2.1.13 Программирование оболочки: введение в оболочку и написание сценариев оболочки

2.1.14 Установка общего программного обеспечения в Linux: установка JDK, установка Tomcat, установка mysql, развертывание веб-проекта.

2.2: Краткое описание автономных вычислений Hadoop (1)

2.2.1 Введение в экологическую среду Hadoop

2.2.2 Положение и взаимоотношения в облачных вычислениях Hadoop

2.2.3 Знакомство со случаями применения Hadoop в стране и за рубежом

2.2.4 Концепции, версии и история Hadoop

2.2.5 Знакомство с основными компонентами Hadoop, архитектурой hdfs и mapreduce

2.2.6 Структура кластера Hadoop

2.2.7 Подробные этапы установки псевдодистрибутива Hadoop

2.2: Краткое описание автономных вычислений Hadoop (2)

2.2.8 Наблюдайте за Hadoop через командную строку и браузер

2.2.9 HDFSПервый этаж&& datanode,namenodeПодробное объяснение&&shell&&Hdfs java api

2.2.10 Знакомство с четырьмя этапами Mapreduce

2.2.11 Writable

2.2.12 Разделение ввода и разделение вывода

2.2.13 Maptask

2.2.14 Shuffle：Sort,Partitioner,Group,Combiner

2.2: Краткое описание автономных вычислений Hadoop (3)

2.2.15 Reducer

2.2.16 Случай Mapreducer: 1) Вторичная сортировка

2.2.17 Индекс инвертированной сортировки

2.2.18 Оптимальный путь

2.2.19 Интеллектуальный анализ телекоммуникационных данных – анализ прогнозирования траектории движения мобильных устройств (проект China Prism)

2.2.20 Алгоритм рекомендации друзей из социальных сетей

2.2.21 Алгоритм точного продвижения рекламы в Интернете

2.2: Краткое описание автономных вычислений Hadoop (4)

2.2.22 Конкурс больших данных Alibaba Tianchi «Алгоритм рекомендаций Tmall»

2.2.23 Практический алгоритм ранжирования страниц Mapreduce

2.2.24 Введение в систему структуры кластера Hadoop2.x

2.2.25 Создание кластера Hadoop2.x

2.2.26 Высокая доступность NameNode (HA)

2.2.27 HDFS Federation

2.2: Краткое описание автономных вычислений Hadoop (5)

2.2.28 Высокая доступность ResourceManager (HA)

2.2.29 Распространенные проблемы и решения для кластеров Hadoop

2.2.30 Управление кластером Hadoop

2.3: Распределенная база данных Hbase(1)

2.3.1 Введение в Hbase

2.3.2 Сравнение HBase и СУБД

2.3.3 Модель данных

2.3.4 Архитектура системы

2.3.5 MapReduce на HBase

2.3.6 Конструкция стола

2.3.7 Объяснение процесса построения кластера

2.3.8 Мониторинг кластера

2.3: Распределенная база данных Hbase(2)

2.3.9 Управление кластером

2.3.10 Оболочка HBase и демонстрация

2.3.11 Проектирование таблицы дерева Hbase

2.3.12 Проект таблицы Hbase «один-ко-многим» и «многие-ко-многим»

2.3.13 Дело Hbase Weibo

2.3.14 Случай заказа Hbase

2.3.15 Оптимизация на уровне таблицы Hbase

2.3: Распределенная база данных Hbase(3)

2.3.16 Оптимизация записи данных в Hbase

2.3.17 Оптимизация данных чтения Hbase

2.3.18 Операции API Hbase

2.3.19 Интеграция hbase mapdreduce и hive

2.4: Хранилище данных Hive(1)

2.4.1 Базовые знания о хранилищах данных

2.4.2 Определение улья

2.4.3 Введение в архитектуру Hive

2.4.4 Кластер улья

2.4.5 Знакомство с клиентом

2.4.6 Определение HiveQL

2.4.7 Сравнение HiveQL и SQL

2.4.8 Типы данных

2.4: Хранилище данных Hive(2)

2.4.9 Внешние таблицы и таблицы разделов

2.4.10 Демонстрация клиента ddl и CLI

2.4.11 Демонстрация клиента dml и CLI

2.4.12 Выбор и демонстрация клиента CLI

2.4.13 Операторы и функции и демонстрация клиента CLI

2.4.14 Hive server2 и jdbc

2.4: Хранилище данных Hive(3)

2.4.15 Разработка и демонстрация пользовательских функций (UDF и UDAF)

2.4.16 Оптимизация улья

2.4.17 serde

2.5: Инструмент миграции данных Sqoop

2.5.1 Введение и использование Sqoop

2.5.2 Использование оболочки Sqoop

2.5.3 Sqoop-import

2.5.4 DBMS-hdfs

2.5.5 DBMS-hive

2.5.6 DBMS-hbase

2.5.7 Sqoop-export

2.6: Платформа распределенного журналирования Flume (1)

2.6.1 Знакомство с лотком – базовые знания 2.6.2 Установка и тестирование лотка

2.6.3 метод развертывания лотка.

2.6.4 Конфигурация и тестирование источника потока.

2.6.5 Конфигурация и тестирование лотка, связанного с раковиной

2.6.6 Конфигурация, связанная с селектором лотка, и анализ случая.

2.6.7 Конфигурация и анализ ситуации, связанные с процессорами Flume Sink

2.6: Платформа распределенного журналирования Flume (2)

2.6.8 Конфигурация перехватчиков лотка и анализ случая

2.6.9 Разработка клиента Flume AVRO

2.6.10 Интеграция flume и kafka

Третий этап：Распределенная вычислительная среда：Spark&Stormэкосистема

3.1: Язык программирования Scala (1)

3.1.1 Интерпретатор Scala, переменные, общие типы данных и т. д.

3.1.2 Условные выражения Scala, ввод и вывод, цикл и другие структуры управления

3.1.3 Функции Scala, параметры по умолчанию, параметры переменной длины и т. д.

3.1.4 Массивы Scala, массивы переменной длины, многомерные массивы и т. д.

3.1.5 Отображение, кортеж и другие операции Scala

3.1.6 Классы Scala, включая атрибуты bean-компонентов, вспомогательные конструкторы, основные конструкторы и т. д.

3.1: Язык программирования Scala (2)

3.1.7 Объекты Scala, одноэлементные объекты, сопутствующие объекты, расширенные классы, методы применения и т. д.

3.1.8 Концепции пакетов, внедрения, наследования и т. д. в Scala.

3.1.9 Характеристики скалы

3.1.10 операторы скалы

3.1.11 Функции высшего порядка Scala

3.1.12 Коллекции Scala

3.1.13 подключение к базе данных Scala

3.2: Искра обработки больших данных (1)

3.2.1 Введение в Spark

3.2.2 Сценарии применения Spark

3.2.3 Сравнение и преимущества Spark, Hadoop MR и Storm

3.2.4 RDD

3.2.5 Transformation

3.2.6 Action

3.2.7 Расчет PageRank Spark

3.2: Искра обработки больших данных (2)

3.2.8 Lineage

3.2.9 Введение в модель Spark

3.2.10 Стратегия кэширования Spark и обработка отказоустойчивости

3.2.11 Широкая зависимость и узкая зависимость

3.2.12 Объяснение конфигурации Spark

3.2.13 Конструкция искрового кластера

3.2.15 Решение типичных проблем при построении кластера

3.2.16 Основные компоненты искрового принципа и обычно используемые RDD

3.2: Искра обработки больших данных (3)

3.2.17 Локальность данных

3.2.18 Планирование задач

3.2.19 DAGScheduler

3.2.20 TaskScheduler

3.2.21 Интерпретация исходного кода Spark

3.2.22 Настройка производительности

3.2.23 Интеграция Spark и Hadoop2.x: принцип Spark on Yarn

3.3: Обработка больших данных в режиме реального времени с помощью Spark-Streaming

3.3.1 Потоковая передача Spark: источники данных и DStreams

3.3.2 Преобразование без сохранения состояния и преобразование с сохранением состояния

3.3.3 Работа с окном потоковой передачи

3.3.4 практика программирования sparksql

3.3.5 Многоязычная работа искры

3.3.6 Новые возможности последней версии спарка

3.4：Spark—Mlibмашинаизучать(1)

3.4.1 Введение в Mlib

3.4.2 Знакомство с компонентами Spark MLlib

3.4.3 Основные типы данных

3.4.4 Алгоритм регрессии

3.4.5 Обобщенная линейная модель

3.4.6 Логистическая регрессия

3.4.7 Алгоритм классификации

3.4.8 Наивный Байес

3.4: Spark — машинное обучение Mlib (2)

3.4.9 Дерево решений

3.4.10 Случайный лес

3.4.11 Система рекомендаций

3.4.12 Кластеризация

a) Kmeans b) Sparse kmeans

c) Kmeans++ d) Kmeans II

e) Streaming kmeans

f) Gaussian Mixture Model

3.5: Spark — графовые вычисления GraphX

3.5.1 Двудольный граф

3.5.2 Обзор

3.5.3 Структурная схема

3.5.4 График свойств

3.5.5 PageRank

3.6: Система технической архитектуры Storm (1)

3.6.1 Система технической архитектуры проекта

3.6.2 Что такое Шторм?

3.6.3 Анализ архитектуры шторма

3.6.4 Модель программирования Storm, исходный код Tuple и анализ параллелизма

3.2.5 Transformation

3.6: Система технической архитектуры Storm (2)

3.6.6 Быстрое создание среды Maven

3.6.7 Случаи Storm WordCount и общие API

3.6.8 Расчет бизнес-индикатора Storm+Kafka+Redis

3.6.9 Установка и развертывание кластера Storm

3.6.10 Загрузка и компиляция исходного кода Storm

3.7: Принципы и основа Storm (1)

3.7.1 Запуск кластера Storm и анализ исходного кода

3.7.2 Отправка задач Storm и анализ исходного кода

3.7.3 Анализ процесса отправки данных о шторме

3.7.4 Краткое обсуждение анализа механизма связи Строма

3.7.5 Механизм отказоустойчивости штормовых сообщений и анализ исходного кода

3.7.6 Анализ многопоточного проекта Storm

3.7.7 Штормовой трезубец и данные датчиков

3.7: Принципы и основа Storm (2)

3.7.8 Анализ тенденций в реальном времени

3.8.9 Введение в Storm DRPC (распределенный удаленный вызов)

3.7.10 Практическое объяснение Storm DRPC

3.7.11. Напишите собственную структуру выполнения задач потоковой передачи.

3.8: Очередь сообщений Кафка

3.8.1 Что такое очередь сообщений

3.8.2 основные компоненты Kafka

3.8.3 Практика развертывания кластера Kafka и общие команды

3.8.4 Сортировка файла конфигурации Kafka

3.8.5 Обучение Kafka JavaApi

3.8.6 Анализ механизма хранения файлов Kafka

3.8.7 Распространение и подписка Kafka

3.8.8 Кафка использует Zookeeper для координации и управления

3.9: Инструмент Redis

3.9.1 введение в nosql

3.9.2 Знакомство с Redis

3.9.3 установка Redis

3.9.4 Подключение клиента

3.9.5 Функция данных Redis

3.9.6 постоянство Redis

3.9.7 случаи применения Redis

3.10: Подробное объяснение смотрителя зоопарка

3.10.1 Знакомство с Zookeeper

3.10.2 Кластерное развертывание Zookeeper

3.10.3 Основной рабочий механизм Zookeeper

3.10.4 Операции командной строки Zookeeper

3.10.5 клиентский API Zookeeper

3.10.6 Случаи применения Zookeeper

3.10.7 Дополнительные принципы смотрителя зоопарка

Четвертый этап: реальный бой проекта больших данных

4.1: Платформа анализа больших данных электронной коммерции Taobao компании Alibaba (1)

4.1.1 Представление проекта (1)

Анализ журналов и управление заказами на веб-сайте Taobao изучаются в реальном бою. Существует множество технических моментов. Трафик рассчитывается после того, как посетитель (UV) нажимает на вход. В то же время просмотры страниц (PV) относятся к тому, что происходит. посетитель (УФ) просматривает магазин количество раз. UV генерирует по крайней мере один PV, PV/UV широко известен как глубина доступа, посетитель

4.1: Платформа анализа больших данных электронной коммерции Taobao компании Alibaba (2)

4.1.1 Представление проекта (2)

(УФ) Количество просмотров в магазине. UV генерирует по крайней мере один PV/UV, широко известный как глубина посещения, поток, рассчитываемый после того, как посетитель (UV) нажал кнопку входа. В то же время количество просмотров (PV) относится к количеству раз. посетитель (УФ) просматривает магазин. UV генерирует по крайней мере один PV, а PV/UV широко известен как глубина доступа.

4.1: Платформа анализа больших данных электронной коммерции Taobao компании Alibaba (3)

4.1.1 Представление проекта (3)

То, что влияет на естественные рейтинги и естественные поисковые запросы, называется весом. Вес является решающим фактором, который определяет, будет ли продукт занимать первые места и получать больше трафика. Обычно факторы, влияющие на вес, включают продажи, похвалу, коллекции. , DSR и время обслуживания, время удаления и тому подобное.

4.1: Платформа анализа больших данных электронной коммерции Taobao компании Alibaba (4)

4.1.2 Особенности проекта

Как на самом деле применять эти положения, мы не можем испытать в процессе самостоятельного изучения. Анализ журнала файлов cookie включает в себя: Pv, uv, показатель отказов, показатель вторых отказов, коэффициент конверсии рекламы, поисковую оптимизацию и т. д. Модуль заказов включает в себя: рекомендации по продуктам, рейтинг продавцов, исторический запрос заказов, статистику отчета о заказах и т. д.

4.1: Платформа анализа больших данных электронной коммерции Taobao компании Alibaba (5)

4.1.3 Структура проекта

SDK（JavaaSDK、JSSDK）+

lvs+nginx кластер+флум+

hdfs2.x+hive+hbase+MR+MySQL

4.1: Платформа анализа трафика больших данных электронной коммерции Taobao компании Alibaba (6)

4.1.4 Процесс проекта(1)

а) Сбор данных: интеграция веб-проектов и проектов облачных вычислений.

б) Обработка данных: Flume собирает логи веб-проектов в режиме реального времени через avro.

в) ETL данных

d) Хранение отображения данных: пакетное выполнение Hive sql. e) Пользовательская функция Hive.

4.1: Платформа анализа больших данных электронной коммерции Taobao компании Alibaba (7)

4.1.4 Процесс проекта(2)

е) Интеграция Hive и hbase.

g) Данные Hbase поддерживают анализ SQL-запросов.

h) Анализ данных: Data Mapreduce интеллектуальный анализ данных

i) обработка Hbase dao

j) Использование Sqoop в проекте.

k) Визуализация данных: вызов времени Mapreduce и мониторинг

4.2: Практический бой 1: система рекомендаций Sina Weibo на основе Spark (1)

4.2.1 Введение проекта(1)

Персонализированная рекомендация — это рекомендация информации и продуктов, которые интересуют пользователя, исходя из его интересов и покупательского поведения. Поскольку масштабы электронной коммерции продолжают расширяться, количество и типы продуктов быстро растут, и клиентам приходится тратить много времени, чтобы найти продукты, которые они хотят купить. Этот процесс просмотра большого количества ненужной информации и продуктов, несомненно, приведет к утоплению в информационной перегрузке.

4.2: Практический бой 1: система рекомендаций Sina Weibo на основе Spark (2)

4.2.1 Представление проекта (2)

Потребители, о которых идет речь, постоянно теряются. Для решения этих проблем и появились системы персонализированных рекомендаций. Система персонализированных рекомендаций — это передовая платформа бизнес-аналитики, основанная на массивном анализе данных, которая помогает веб-сайтам электронной коммерции предоставлять полностью персонализированную поддержку принятия решений и информационные услуги для покупок своих клиентов.

4.2: Практический бой 1: система рекомендаций Sina Weibo на основе Spark (3)

4.2.2 Особенности проекта (1)

Система рекомендаций представляет собой сложную системную инженерию, основанную на органичном сочетании инженерии, архитектуры и алгоритмов. Это кристаллизация знаний технологий интеллектуального анализа данных, технологий поиска информации и вычислительной статистики. Студенты могут получить только практический опыт. понять все аспекты системы рекомендаций и понять различные аспекты системы рекомендаций. По-настоящему почувствовать плюсы и минусы рекомендательных алгоритмов. С одной стороны, вы можете очень умело выполнять простые задачи.

4.2: Практический бой 1: система рекомендаций Sina Weibo на основе Spark (4)

4.2.2 Особенности проекта (2)

Алгоритмы рекомендаций, такие как контент-ориентированные,

CF на основе позиций и т. д. с другой стороны

Чтобы освоить некоторые распространенные библиотеки алгоритмов рекомендаций,

Такие как: SvdFeature, LibFM,

Mathout, Mlib и т. д.

4.2: Практический бой 1: система рекомендаций Sina Weibo на основе Spark (5)

4.2.3 Система технической архитектуры проекта (1)

а) Обработка потока в реальном времени Kafka, Spark Streaming

б) Распределенные вычисления Hadoop, Spark

в) База данных Hbase, Redis

г) Машинное обучение Spark Mllib

e) Данные внешнего веб-отображения Struts2, echart

4.2: Практический бой 1: система рекомендаций Sina Weibo на основе Spark (6)

4.2.3 Система технической архитектуры проекта (2)

е) Распределенная платформа Hadoop, Spark

ж) Очистка данных Hive

h) Анализ данных R RStudio

i) Рекомендуемый сервис Dubbox

j) Фильтрация правил

k) MLlib машинного обучения

4.3: Практический бой 2: Рекламная система DSP портала Sina (1)

4.3.1 Представление проекта

Сина (www.sina.com.cn),

Это известный веб-портал, проект в основном через

Собирая файлы cookie Сины за каждый сгенерированный день.

Регистрируйте, анализируйте и рассчитывайте трафик, связанный с сайтом.

Информация и ставки на рекламные места

4.3: Практический бой 2: Рекламная система DSP портала Sina (2)

4.3.2 Особенности проекта

В мире Интернета всегда есть три волшебных оружия для зарабатывания денег: реклама, игры и электронная коммерция. С развитием мобильного Интернета, используя его уникальные преимущества в области передачи данных, мы наконец можем ответить на вопрос, который беспокоил сотни рекламодателей. лет: Моя реклама Кто вообще это видел? Куда пропала выброшенная половина денег?

4.3: Практический бой 2: Рекламная система DSP портала Sina (3)

4.3.3 Система технической архитектуры проекта (1)

a) Импортируйте данные журнала в HDFS через flume и используйте hive для очистки данных. b) Предоставьте пользователям веб-представления, введите параметры задачи запроса и запишите их в MySQL. c) Используйте Spark для выполнения анализа сеанса на основе задачи. параметры, представленные пользователями. Прямой анализ скорости.

4.3: Практический бой 2: Рекламная система DSP портала Sina (4)

4.3.3 Система технической архитектуры проекта (2)

d) Используйте Spark sql для сбора статистики по различным типам популярной рекламы. e) Используйте Flume для передачи журналов кликов по рекламе в Kafka и используйте потоковую передачу Spark для сбора статистики кликов по рекламе. f) На веб-странице отображаются результаты выполнения задач, хранящиеся в MySQL.

4.4: Практический бой третий: Проект системы сигнализации бизнес-журнала (1)

4.4.1 Представление проекта (1)

Мониторинг на основе журналов. Мониторинг требует определенных правил. Сигналы тревоги предоставляются для информации журнала, которая запускает правила мониторинга. Сигналы тревоги отправляются через текстовые сообщения и электронные письма. С развитием бизнеса компании появляется все больше и больше различных систем, поддерживающих бизнес компании. . В целях обеспечения нормального развития бизнеса компании существует острая необходимость улучшения работы этих онлайн-систем.

4.4: Практический бой 3: Проект системы сигнализации бизнес-журнала (2)

4.4.1 Представление проекта (2)

Своевременно отслеживайте и выявляйте проблемы, чтобы минимизировать их влияние на бизнес.

4.4.2 Особенности проекта (1)

Общий дизайн архитектуры очень завершен, и основной архитектурой является приложение а) Приложение использует log4j для создания журналов.

б) Развертывание клиента Flume

4.4: Практический бой третий: проект системы сигнализации бизнес-журнала (3)

4.4.2 Особенности проекта (2)

Отслеживайте информацию журнала, созданную приложением, и отправляйте ее в кластер Kafka.

c) Storm Spout извлекает данные Kafka для использования, фильтрует каждый журнал один за другим на предмет соответствия правилам и отправляет оповещения по электронной почте для журналов, соответствующих правилам.

4.4: Практический бой 3: Проект системы сигнализации бизнес-журнала (4)

4.4.2 Особенности проекта (3)

г) Наконец, сохраните информацию о тревогах в базе данных mysql для управления.

4.4.3 Система технической архитектуры проекта

a) Базовые знания системы рекомендаций b) Анализ процесса разработки системы рекомендаций c) Использование API совместной фильтрации Mahout d) Практическая разработка механизма рекомендаций Java e) Интегрированная работа системы рекомендаций

4.5: Практическая борьба 4: Практическая борьба с системой рекомендаций «Думаю, тебе понравится» в Интернете (1)

4.5.1 Введение проекта(1)

Люди, совершающие покупки в Интернете, привыкли получать персональные рекомендации. Netflix рекомендует видео, которые вы, возможно, захотите посмотреть. TiVo автоматически запишет шоу, чтобы вы могли посмотреть его, если вам интересно. Pandora генерирует персонализированные музыкальные потоки, предсказывая, какие песни мы хотим слушать. все эти

4.5: Практическая борьба 4: Практическая борьба с системой рекомендаций «Думаю, тебе понравится» в Интернете (2)

4.5.1 Представление проекта (2)

Рекомендуемые результаты поступают из различных рекомендательных систем. Они полагаются на компьютерные алгоритмы для работы и выбора продуктов, которые могут понравиться клиентам и которые они могут купить, на основе их просмотра, поиска, заказа и предпочтений, тем самым обслуживая потребителей. Рекомендательные системы изначально были созданы для того, чтобы помочь интернет-торговцам увеличить продажи, а теперь это масштабная и

4.5: Практический бой 4: Практический бой с системой рекомендаций «Думаю, тебе понравится» в Интернете (3)

4.5.1 Представление проекта (3)

Растущий бизнес. В то же время разработка рекомендательных систем выросла с нескольких десятков человек, работавших над ней в середине 1990-х годов, до сегодняшнего дня, когда в университетах, крупных интернет-магазинах и десятках компаний, специализирующихся на этом виде исследований, работают сотни исследователей. . другие компании в системе.

4.5: Практическая борьба 4: Практическая борьба с системой рекомендаций «Думаю, тебе понравится» в Интернете (4)

4.5.2 Особенности проекта (1)

Вы когда-нибудь задумывались, как вы выглядите в глазах Amazon? Ответ таков: вы — длинный ряд чисел в большой-большой таблице. Эта строка чисел описывает все, что вы видели, каждую ссылку, по которой вы нажимали, и каждый товар, который вы купили на Amazon, остальную часть таблицы;

4.5: Практическая борьба 4: Практическая борьба с системой рекомендаций «Думаю, тебе понравится» в Интернете (5)

4.5.2 Особенности проекта (2)

Филиалы представляют миллионы других людей, которые делают покупки на Amazon. Каждый раз, когда вы заходите на сайт, ваш номер в течение этого времени будет меняться, при каждом вашем перемещении по сайту номер будет меняться; Эта информация, в свою очередь, влияет на то, что вы видите на каждой посещаемой вами странице, а также на то, какие электронные письма и предложения вы получаете от Amazon.

4.5: Практическая борьба 4: Практическая борьба с системой рекомендаций «Думаю, тебе понравится» в Интернете (6)

4.5.3 Система технической архитектуры проекта

а) Базовые знания рекомендательной системы

б) Анализ процесса разработки рекомендательной системы

в) Использование API совместной фильтрации Mahout.

г) Практическая разработка механизма рекомендаций Java.

e) Рекомендуемая интегрированная работа системы

Пятый этап: направление анализа больших данных AI (искусственный интеллект)

5.1 Pythonпрограммирование&&Data AnalyzeПодготовка рабочей среды&данные Основы анализа(1)

5.1.1 Введение в Python и его возможности

5.1.2 Установка Python

5.1.3 Основные операции Python (аннотации, логика, использование строк и т. д.)

5.1.4 Структуры данных Python (кортеж, список, словарь)

5.1 Pythonпрограммирование&&Data AnalyzeПодготовка рабочей среды&данные Основы анализа(2)

5.1.5 Небольшой пример пакетного переименования с использованием Python

5.1.6 Общие встроенные функции Python

5.1.7 Дополнительные функции Python и общие советы по их использованию

5.1.8 Исключения

5.1.9 Объяснение параметров функций Python

5.1.10 Импорт модулей Python

5.1 Pythonпрограммирование&&Data AnalyzeПодготовка рабочей среды&данные Основы анализа(3)

5.1.11 Классы и наследование в Python

5.1.12 Случай веб-сканера

5.1.13 Модуль подключения к базе данных и установки pip

5.1.14 Базовое введение в Mongodb

5.1.15 Объясните, как подключиться к mongodb

5.1.16 Случай машинного обучения Python

5.1 Pythonпрограммирование&&Data AnalyzeПодготовка рабочей среды&данные Основы анализа(4)

5.1.17 AI&&машинаизучать&&глубинаизучать Введение

5.1.18 Подготовка рабочей среды

5.1.19 Методы Python, обычно используемые при анализе данных

5.1.20 Продвинутые панды и навыки

5.1.21 Статистический анализ данных

5.2: Визуализация данных

5.2.1 Концепция визуализации данных

5.2.2 Рисование и визуализация диаграммы

5.2.3 Анимация и интерактивный рендеринг

5.2.4 Объединение и группировка данных

5.3: Машинное обучение Python-1(1)

5.3.1 Основные понятия машинного обучения

5.3.2 Рабочий процесс машинного обучения

5.3.3 Библиотека машинного обучения Python scikit-learn

5.3.4 Модель КНН

5.3.5 Модель линейной регрессии

5.3.6 Модель логистической регрессии

5.3.7 Модель машины опорных векторов

5.3: Машинное обучение Python-1(2)

5.3.8 Модель дерева решений

5.3.9 гиперпараметры&&изучатьпараметр

5.4: Машинное обучение Python-2

5.4.1 Показатели оценки модели

5.4.2 Перекрестная проверка

5.4.3 Классические алгоритмы машинного обучения

5.4.4 Наивный Байес

5.4.5 Случайный лес

5.4.6 GBDT

5.5：распознавание изображений&&нейронная сеть

5.5.1 Рабочий процесс манипуляции изображениями

5.5.2 Разработка функций

5.5.3 Описание функции изображения

5.5.4 Описание сети AI

5.5.5 Глубокое обучение

5.5.6 Изучение платформы TensorFlow

5.5.7 Сверточная нейронная сеть TensorFlow Framework (CNN)

5.6：обработка естественного языка&&Обработка социальных сетей

5.6.1 Обработка текстовых данных Python

5.6.2 Обработка естественного языка и NLTK

5.6.3 Тематическая модель

5.6.4 LDA

5.6.5 Введение в теорию графов

5.6.6 Работа сети и визуализация данных

5.7: Практические проекты

Издатель: Full stack программист и руководитель стека, укажите источник для перепечатки: https://javaforall.cn/140231.html Исходная ссылка: https://javaforall.cn