NVIDIA Jetson: Архитектура, работа и нейните приложения

Водещата платформа в света като NVIDIA Jetson е поредица от вградени компютърни платки, които се използват главно в автономни машини и други вградени приложения . Тази платка съдържа главно Jetson модули, които са високопроизводителни компютри. Jetson е подходящ за подобен AI софтуер и облачен работен процес, който се използва в други платформи на NVIDIA и осигурява енергийно ефективна производителност за клиентите за изграждане на софтуерно базирани автономни машини. NVIDIA Jetson се използва за приложения за компютърно зрение. И така, тази статия обсъжда преглед на работата на NVIDIA Jetson и нейните приложения.

Какво е NVIDIA Jetson?

NVIDIA Jetson е напреднал система за вграждане платка, която се използва за създаване на иновативни AI продукти в няколко индустрии. NVIDIA Jetson е една от водещите хардуерни платформи, която е много полезна за технологични ентусиасти, а също и за студенти, за да получат практически опит чрез набор от иновативни AI проекти. Тази платка е много ефективна платка за AI, която включва модулни компютри с малък форм-фактор и високопроизводителни крайни компютри. В допълнение, тази платка съдържа и JetPack SDK, използван за софтуерно ускорение, както и пълна екосистема за подпомагане на увеличаването на процедурата за разработка на персонализирани AI проекти.

Архитектура NVIDIA Jetson

Знаем, че модулът Nvidia Jetson от Nvidia е поредица от вградени компютърни платки. Всички модели на Jetson TX1, TX2 & TK1 носят SoC или Tegra процесор от Nvidia, който включва CPU с ARM архитектура. Тук Jetson е система с ниска мощност, предназначена главно за ускоряване на приложения за машинно обучение.

Архитектурата на NVIDIA Jetson Xavier NX е показана по-долу. Това е най-модерният и малък суперкомпютър с изкуствен интелект, използван както за периферни изчислителни устройства, така и за автономна роботика . Този модул има капацитета да внедри производителност от сървърен клас в рамките на солиден форм фактор 70x45 mm и също така осигурява до 21 TOPS изчисления под 15 W мощност, в противен случай до 14 TOPS изчисления под 10 W.

Горната диаграма съдържа вграден 384-ядрен NVIDIA Volta GPU включително 6-ядрен 64-битов процесор NVIDIA Carmel ARMv8.2, 48 тензорни ядра, 8GB 128-битов LPDDR4x, 4K видео енкодери и декодери, двоен NVDLA (NVIDIA Deep Learning Accelerator) двигатели, камера за до шест моментални снимки с висока разделителна способност сензорни потоци, двоен Display Port или HDMI 4K дисплеи, PCIe поколение 3 разширение, USB 3.1 и GPIO с I2C, SPI, I2S, UART и CAN шина.

Спецификациите на NVIDIA Jetson включват следното.

• Мощността е 10W или 15W режими и 5V вход.
• Процесорът е 6-ядрен NVIDIA Carmel 64-bit ARMv 8.2 на 1400MHz.
• GPU е 384-ядрен NVIDIA Volta на 1100MHz чрез 48 тензорни ядра.
• DL е двоен NVDLA двигател.
• Паметта е 8GB 128-bit LPDDR4x на 1600MHz.
• 16 GB eMMC 5.1 място за съхранение.
• Камерата е 12x MIPI CSI-2 ленти | 3×4 или 6×2 камери.
• До 6 камери (36 чрез виртуални канали).
• Температури от -25°C до 90°C.
• Дисплеят е DP 1.4 или eDP 1.4 или HDMI 2.0 a/b при 4Kp60.
• Ethernet е 10 или 100 или 1000 BASE-T Ethernet.
• USB 3.1 и USB 2.0.

Този модул се поддържа от целия софтуерен стек CUDA-X на NVIDIA, както и от JetPack SDK за разработка на AI. Той изпълнява много популярни рамки за машинно обучение и трудни DNN на няколко сензорни потока с висока разделителна способност наведнъж, в допълнение към компютърно зрение в реално време, графики и мултимедийни приложения в рамките на цялостна десктоп Linux среда.

В момента разработчиците са започнали да проектират AI приложения за Jetson Xavier NX с помощта на Jetson AGX Xavier Developer Kit. Прилагането на корекция на шаблон на устройство близо до JetPack ще накара устройството да работи като Jetson Xavier NX. Това ще промени броя на GPU и CPU ядрата, които могат да бъдат получени чрез софтуер, и ще зададе тактовите честоти, както и напреженията на ядрата в системата.

Пластирът е напълно обратим, което се използва за приблизително представяне на Jetson Xavier NX. Този модул ще класифицира режимите на мощност по подразбиране от 10 W и 15 W, постигайки между 14 и 21 TOPS пикова производителност въз основа на активния режим. Инструментът nvpmodel се използва за обработка на профили на мощност за регулиране на най-високите CLK честоти за GPU, CPU, различни SoC часовници и контролер на паметта заедно с различните CPU клъстери.

Въз основа на работното натоварване, регулаторът на DVFS (Динамично мащабиране на напрежение и честота) балансира честотите по време на изпълнение до техните най-високи граници, както е описано от активния nvpmodel, като по този начин използването на енергия се намалява при неактивност и въз основа на работата на процесора. Инструментът nvpmodel помага при създаването и модифицирането на нови режими на захранване въз основа на TDP и изискванията на приложението.

Модулът NVIDIA Jetson довежда производителността на суперкомпютъра до ръба в рамките на малък форм фактор SOM (system-on-module). Равно на 21 TOPS ускорено изчисление изпраща конски сили за паралелно управление на настоящите невронни мрежи и обработка на данни от различни сензори с висока разделителна способност. Този модул е ​​идеален за базирани на висока производителност AI системи като медицински инструменти, търговски роботи, вградени системи AIoT, интелигентни камери, автоматизирана оптична инспекция, сензори с висока разделителна способност, интелигентни фабрики и др.

Софтуер

Модулът NVIDIA Jetson просто се поддържа чрез комбинирани софтуерни архитектури, така че ще направи работата на разработчиците на софтуер много по-лесна. Този комбиниран подход просто спестява на разработчиците неудобството от повтарящо се кодиране, като същевременно подобрява техните формации на други Jetson модули.

NVIDIA JetPack SDK се предлага с Linux OS, CUDA-X ускорени библиотеки и API за различни области на машинно обучение като компютърно зрение, задълбочено обучение и т.н. Той също така поддържа рамки за машинно обучение като Caffe, TensorFlow, Keras и OpenCV компютърно зрение библиотеки.
NVIDIA Jetson предлага различни софтуерни инструменти за своите модули, които са обсъдени по-долу.

NVIDIA JetPack SDK

Софтуерните пакети на платформата Jetson като TensorRT, CUDA Toolkit, cuDNN, GStreamer, OpenCV и Visionworks са сглобени върху L4T чрез LTS Linux ядрото.

Пакет драйвери за NVIDIA Jetson Linux

Той предоставя ядрото на Linux, драйвери на NVIDIA, програма за зареждане, примерна файлова система, мигащи помощни програми и много други за платформата Jetson.

NVIDIA DeepStream SDK

Това е набор от API и библиотеки за подпомагане на разработчиците при проектирането и организирането на силни решения IVA (интелигентен видео анализ) на платформата Jetson. Използва се за изграждане на сложни приложения като кодиране, заснемане на изображения, декодиране, извод с TensorRT и др.

NVIDIA Isaac SDK

Това е набор от библиотеки, API, драйвери и други инструменти, които ще добавят AI към роботи от следващо поколение за навигация, възприятие и манипулиране. Така че помага при създаването и внедряването на работеща с AI роботика.

Типове NVIDIA Jetson

Модулът NVIDIA Jetson идва с памет, GPU, CPU, високоскоростни интерфейси, управление на захранването и т.н. Тези модули се предлагат в различни производителности, енергийна ефективност и вариации на форм-фактори, за да се използват в различни индустрии. Има различни налични устройства NVIDIA Jetson, които са обсъдени по-долу.

NVIDIA Jetson Nano

Модулът NVIDIA Jetson Nano е подходящ за разработчици или студенти, а също и за начинаещи, защото е предназначен основно за практическо обучение и преподаване. Размерът на този модул е ​​малък, но неговата енергийна ефективност и производителност са високи, за да го направят перфектен за стартиране на множество паралелни невронни мрежи, работни натоварвания на AI и обработка на данни от сензори с висока разделителна способност наведнъж. По този начин модулът Jetson Nano е много популярно крайно устройство, което се използва за създаване на вградени AI продукти и решения.

Този модул е ​​идеален за базирани на AI приложения за компютърно зрение и изпълнява задачи за AI зрение като откриване на обекти, сегментиране на изображения, класификация на изображения и т.н. Този модул е ​​много съвместим със софтуер за компютърно зрение с отворен код и библиотеки за машинно обучение OpenCV.

Серия NVIDIA Jetson TX2

Модулът NVIDIA Jetson TX2 Series е проектиран в размер на кредитна карта. Характеристиките на този модул включват основно NVIDIA Pascal GPU, до 8 GB памет, 59,7 GB/s честотна лента на паметта и стандартни хардуерни интерфейси. Този модул осигурява производителност до 2,5 пъти в сравнение с модула NVIDIA Jetson Nano.

Този модул много ефективно управлява дълбоки невронни мрежи на крайни устройства, за да постигне по-висока точност. Модулите, които се предлагат в серията, включват главно Jetson TX2 4GB, Jetson TX2i, Jetson TX2 и Jetson TX2 NX. Модулът NVIDIA Jetson TX2 NX просто споделя съвместимост с пин и форм-фактор чрез Jetson Xavier NX и Jetson Nano.

Останалите три модула ще споделят форм фактора на оригиналния модул Jetson TX2. Използването на серията TX2 просто варира в различни индустрии като селско стопанство, производство, науки за живота, търговия на дребно и т.н. Модулът Jetson TX2i от останалите модули е най-подходящ за високопроизводителни AI устройства като медицинско оборудване, камери за машинно зрение и индустриални роботи, тъй като от неговия силен дизайн.

Този модул е ​​много бързо вградено AI изчислително устройство, което предлага висока енергийна ефективност като 7,5 W, суперкомпютърни възможности главно за крайни AI устройства, както и различни хардуерни интерфейси за лесно включване в различни продукти и форм фактори.

NVIDIA Jetson Xavier NX

Модулът NVIDIA Jetson Xavier NX е много малък в сравнение с кредитна карта с висока производителност и енергийна ефективност. Това също е известно като най-малкия AI суперкомпютър за периферни и вградени системи в света. Този модул особено помага при работата на цялостни AI системи.

Функциите на Jetson Xavier NX също поддържат облачни технологии, така че е лесно за разработчиците да надграждат и управляват AI продукти. Този модул поддържа всички популярни AI модели и рамки. Така че този модул напълно отговаря на високопроизводителни AI системи като интелигентни камери, захранвани с AI системи за зрение с висока разделителна способност, дронове, търговски роботи или медицинско оборудване.

Модулът NVIDIA Jetson Xavier NX доставя 21 тера операции в секунда или TOPS за изпълнение на текущо работно натоварване на AI, като консумира 10 W мощност. Формата на този модул е ​​по-компактна в сравнение с кредитна карта. Модулът Xavier NX управлява различни невронни мрежи едновременно и обработва данни от различни сензори с висока разделителна способност. Този тип модул се използва за проектиране на приложения за вградени и периферни изчислителни устройства, които се нуждаят от висока производителност, но със значителни ограничения на теглото, размера и мощността.

Серия NVIDIA Jetson AGX Xavier

Модулът NVIDIA Jetson AGX Xavier Series е разработен основно за следващо поколение автономни интелигентни машини. Този модул осигурява до 32 TOPS или Tera операции в секунда производителност на AI, когато използва само 10 вата. Разработчикът на софтуер просто има право да организира бързо невронни мрежи с набор от софтуерни инструменти за изкуствен интелект на NVIDIA.

Този модул предоставя различни спецификации и функционални възможности за сигурност, така че разработчиците да създават безопасни или промишлени сертифицирани продукти. Високата производителност на този модул може да ги направи подходящи за множество автономни машини като логистични и индустриални роботи, фабрични системи и големи дронове.

Комплект за разработчици Jetson Xavier NX

Комплектът за разработчици на jetson xavier nx включва солиден енергоефективен модул Xavier NX, използван за крайни устройства, захранвани с AI. Този модул има някои функции като нативна поддръжка в облак и ускорява стека от софтуер на NVIDIA само с 10 W с над 10 пъти по-висока производителност от Jetson TX2. Този комплект за разработчици се използва от производители на интелигентни машини, AI стартиращи фирми и разработчици на приложения за проектиране на модерни продукти с компактен, много точен AI извод и енергоефективен форм фактор.

Jetson AGX Xavier Industrial

Индустриалният модул Jetson AGX Xavier е част от серията AGX Xavier. Дизайнът на този модул е ​​pin-съвместим форм фактор, който контролира най-актуалните AI модели в взискателни приложения. Този модул осигурява разширена вибрация, удар, температурни спецификации, разширени функции за сигурност, до 4 пъти повече памет и 20 пъти по-висока производителност от модула TX2i.

Този модул е ​​много полезен за дизайнерите да проектират автоматизация, роботика и други интелигентни продукти. В допълнение, той също така проектира сертифицирани за безопасност и здрави продукти за осигуряване на висока производителност за индустриални, вградени AI функционални и защитни приложения в дизайн на здрав, както и енергийно ефективен форм фактор.

Предимства

The предимства на NVIDIA Jetson включват следното.

• NVIDIA Jetson е подходяща за студенти, индивидуални разработчици и различни организации.
• Платформата Jetson е много популярна, тъй като идва с различни предимства като модулна гъвкавост, унифициран софтуер и поддръжка за облачни технологии.
• Тази платка предоставя набор от модули, които са много полезни за всичко - от основни AI приложения до много сложни устройства, захранвани с AI.
• Тази платка е захранвана чрез унифицирана софтуерна архитектура, която помага на разработчиците от повтарящото се кодиране. След като имат нужда от AI/ML капацитет, тогава те могат да включат свързан Jetson модул към устройството и той се грижи за тежкото повдигане.
• Платформата NVIDIA Jetson просто поддържа естествени в облака технологии и работни потоци като оркестрация и контейнеризация, предоставяйки на разработчиците възможността да разработват бързо и разширяват AI продукти.
• NVIDIA JetPack SDK се предлага с Linux OS, API и библиотеки за ускоряване на CUDA-X за различни области на машинно обучение като компютърно зрение и задълбочено обучение. Той също така осигурява поддръжка за рамки за машинно обучение като Caffe и Keras, TensorFlow & OpenCV библиотеки за компютърно зрение.

Недостатъци

Той има много малко недостатъци, като се вземе предвид цената

• Нано модулът NVIDIA Jetson не се предлага с wifi вътре.
• Нано модулът на NVIDIA Jetson включва само два PWM пина на платката.

Приложения

Приложенията на NVIDIA Jetson включват следното.

• Модулът NVIDIA Jetson предлага превъзходни системи за вграждане, които се използват за създаване на AI продукти за различни сценарии. Това е енергоефективен модул, използван за AI, който включва високопроизводителни, модулни крайни компютри с малък форм-фактор.
• Платките на Nvidia Jetson са предназначени главно за използване във вградени системи като дронове, роботи и други устройства, които се нуждаят от мощна обработка в малък форм-фактор. Общите приложения на платките на Jetson включват главно медицински устройства, автономни превозни средства, цифрови табели, AR/VR слушалки, интелигентни градски приложения и др.
• Този модул поддържа унифицирани софтуерни архитектури, за да улесни много работата на разработчиците на софтуер.
  Модулите и устройствата на NVIDIA Jetson са оптимизирани периферни устройства, използвани за разработване на Edge AI системи.
• NVIDIA Jetson Nano Developer Kit е много мощен и малък компютър, който управлява няколко невронни мрежи паралелно за различни приложения като откриване на обекти, класифициране на изображения, обработка на реч и сегментиране.
• Модулът NVIDIA Jetson Nano е перфектен за приложения за компютърно зрение, базирани на AI, и те изпълняват задачи за AI зрение като сегментиране на изображения, класификация на изображения, откриване на обекти и др.
• Нано модулите на NVIDIA Jetson носят невероятни нови възможности на хиляди енергийно ефективни и малки AI системи
• Модулът NVIDIA Jetson Nano е съвместим с библиотеки за машинно обучение OpenCV и софтуер за компютърно зрение с отворен код.

Q). Каква е консумацията на енергия на Jetson модулите?

А). Консумацията на енергия на модул Jetson варира в зависимост от модела и употребата. Модулът Jetson Xavier например има типична консумация на енергия от около 15w до 30w, докато Jetson TX2 може да консумира между 7w и 15w.

Q). Може ли Jetson да се използва за откриване и проследяване на обекти в реално време?

А). Да, Jetson Platforms могат да се справят с откриване и проследяване на зрението. Nano модулът е високоефективен графичен процесор с периферна изчислителна платформа, който може да се използва главно за откриване, преброяване и проследяване.

Q). С какви типове сензори може да взаимодейства Jetson?

А). Визуалните сензори се използват за свързване на Jetson с различни интерфейси на камерата като USB, MIPI CSI и Ethernet. Те могат също така да се свързват с лидар, ултразвуков сензор и други типове, както и с помощта на различни типове интерфейс като I2C, SPI и т.н.

Q). Каква е разликата между Jetson и Raspberry Pi?

А). Основната разлика между тези две дъски е; NVIDIA Jetson е разработена да се справя с високо взискателни задачи с изкуствен интелект и компютърно зрение, докато платката Raspberry Pi 4 има базиран на ниска мощност мултимедиен графичен процесор, използван за изчисления с общо предназначение и образование. Jetson може да се използва за по-усъвършенствани функции като хардуерно ускорено декодиране и кодиране на видео с помощта на мощния GPU (графичен процесор) и CPU (централен процесор).

Q). Може ли Jetson да се използва за приложения за автономна роботика?

А). Автономната роботика и промишлеността на утрешния ден ще се задвижват от NVIDIA Jetson за интелигентни машини и роботика.

По този начин, това е преглед на NVIDIA Jetson – предимства и приложения. Този модул е ​​водещата платформа в света, която се използва от разработчиците за създаване на усъвършенствани AI продукти във всички индустрии. Тези модули се използват и от студенти, а също и от ентусиасти, за да придобият практически опит в обучението на AI за създаване на невероятни проекти. Платформата на Jetson се състои главно от енергийно ефективни, малки комплекти за разработчици и производствени модули. Ето един въпрос към вас, какво е NVIDIA?