Разработка мультимедиа решений с помощью GStreamer Framework на базе Video Codec Unit

Описание курса
Узнаете, как создавать и запускать сложные мультимедийные приложения, предназначенные для Zynq UltraScale + MPSoC EV, с помощью фреймворка GStreamer. Также курс демонстрирует, как использование аппаратного блока видеокодека в MPSoC EV помогает достичь оптимальной производительности.

Основное внимание в этом курсе уделяется:
• Описанию мультимедийных решений Xilinx
• Разработке мультимедийного приложения для Zynq UltraScale + MPSoC EV
• Перечислению мультимедийных аппаратных блоков, доступных в Zynq UltraScale + MPSoC EV
• Описанию функций кодера и декодера блока видеокодека
• Описанию программного стека, предоставляемого Xilinx для разработки мультимедийных приложений.
• Использованию фреймворка GStreamer из программного стека для создания различных мультимедийных конвейеров

Продолжительность
2 дня

Кому будет полезен курс?
Всем, кому нужно разрабатывать мультимедийные приложения для Zynq UltraScale + MPSoC EV

Что нужно знать заранее?
• Базовые знания в области видеотехнологий
• Базовые знания о блоке видеокодека (VCU)
• Средний уровень знаний архитектуры Zynq UltraScale+ MPSoC

Программное обеспечение
• Vivado Design Suite
• PetaLinux Tool

Аппаратная платформа
• Отладочная плата Zynq UltraScale+ MPSoC ZCU104
• HDMI монитор
• Source (Nvidia Shield or ABOX)
• Два HDMI кабеля

По завершении курса вы будете иметь все необходимые навыки для того чтобы:
• Описывать мультимедийные решения Xilinx
• Использовать мультимедийные блоки VCU и GPU в Zynq UltraScale + MPSoC EV
• Выполнять кодирование и декодирование видео с помощью аппаратного блока видеокодека (VCU)
• Описывать программный стек VCU
• Использовать плагины GStreamer для создания видео конвейеров
• Описывать различные программные Xilinx IP Core: аудио, видео, интерфейсы, обработки данных
• Запускать приложения для транскодирования и потокового видео

Структура курса

День 1

Обзор мультимедиа (Лекция)
Обзор мультимедийных компонентов и основных тенденций. Также описывается, почему Xilinx фокусируется на мультимедия.

Мультимедийные решения Xilinx (Лекция)
Дается общее представление о различных мультимедийных решениях Xilinx, включая Zynq UltraScale + MPSoC EV, мультимедийные блоки, программный стек, программные IP и инструменты.

Zynq UltraScale + MPSoC: мультимедийные блоки (Лекция)
Обзор различных мультимедийных блоков, доступных в Zynq UltraScale + MPSoC EV, включая аппаратный блок видеокодеков, графические процессоры, контроллеры DisplayPort и DDR.

Введение в блок видеокодеков (VCU) (Лекция)
Рассматриваются основы блока видеокодека, в том числе зачем нужен видеокодек, что он делает и его основные компоненты.

Zynq UltraScale + MPSoC: Архитектура VCU (Лекция, Лабораторная работа)
Рассматривается видео конвейер и подробно рассматривается архитектура кодера и декодера Zynq UltraScale + MPSoC EV VCU.

Стандарты, поддерживаемые VCU, задержка и производительность VCU (Лекция)
Обсуждаются стандарты кодирования, поддерживаемые VCU, и предоставляется дополнительная информация о задержке и производительности VCU. Подробно рассматриваются различные профили стандарта H.264 / AVC и рассматриваются различные режимы с малой задержкой.

Программный стек VCU (Лекция)
Описывается программный стек VCU, предоставляемый Xilinx, включая управляющее программное обеспечение, уровни OpenMAX и GStreamer. Управляющее программное обеспечение предоставляется тем, у кого есть свои собственные фреймворки и логика.

День 2

Введение в GStreamer Framework (Лекция, Лабораторная работа)
Описывается фреймворк GStreamer и его основные функциональные блоки. Также описываются преимущества использования GStreamer для разработки мультимедийных приложений и то, как GStreamer взаимодействует с приложением.

Фреймворки с поддержкой видео в Linux: V4L2, DRM, KMS (Лекция, Лабораторная работа)
Охватывает видеофреймворки, поддерживаемые в Linux (такие как V4L2, DRM и KMS), и то, как они реализованы в видео конвейере. Также обсуждается концепция разделения доступа к буферу.

IP для подключения мультимедиа и обработки данных (Лекция)
Рассмотриваются различные подсистемы ввода и вывода, которые используются для захвата и отображения аудио- и видеоданных. Также рассматриваются соответствующие IPдля подключения и обработки данных.

Потоковый конвейер с использованием GStreamer (Лекция, Лабораторная работа)
Подробно описываются приложения конвейера потоковой передачи с использованием GStreamer, в том числе как создать приложение GStreamer.

Аудио и графические решения Xilinx (Лекция)
Обзор возможностей аудиорешения Xilinx. Также описывается архитектура графического процессора и функциональность программного стека графического процессора, предоставляемого Xilinx.

Обзор базовых дизайнов Xilinx (Лекция)
Описывает мультимедийные базовые дизайны от Xilinx. В частности, подробно обсуждаются Zynq UltraScale + MPSoC Base TRD и Zynq UltraScale + MPSoC VCU TRD.