Proč bude mít váš příští notebook NPU, stejně jako váš telefon?

Pokud přemýšlíte o koupi nového notebooku, nepochybně jste si všimli, že se stále více chlubí schopnostmi NPU, které vypadají hodně podobně jako ty, které už několik let vidíme v nejlepších smartphonech. Hnacím faktorem je tlak na to, aby notebooky držely krok s mobilními možnostmi umělé inteligence a vybavily je pokročilými funkcemi umělé inteligence, jako je Copilot od společnosti Microsoft, které lze na zařízení bezpečně spustit bez nutnosti připojení k internetu. Zde je tedy vše, co potřebujete vědět o NPU, proč by je mohl mít váš příští notebook a zda byste si jej měli koupit, nebo ne.

Co je NPU?

NPU je zkratka pro Neural Processing Unit. NPU se zaměřují na spouštění matematických funkcí spojených s úlohami neuronové sítě/strojového učení/AI. I když se může jednat o samostatné čipy, jsou stále častěji integrovány přímo do systému na čipu (SoC) spolu s populárnějšími součástmi centrální procesorové jednotky (CPU) a grafického procesoru (GPU).

NPU se dodávají v různých tvarech a velikostech a často se nazývají mírně odlišným názvem v závislosti na návrháři čipu. Ve skutečnosti najdete různé modely rozmístěné po celém světě smartphonů. Qualcomm má ve svých procesorech Snapdragon Hexagon, Google má vlastní TPU pro cloudové i mobilní čipy Tensor a Samsung má vlastní implementaci Exynos.

Tato myšlenka se nyní rozvíjí také v prostoru notebooku a PC. Například Neural Engine je uvnitř nejnovějšího Apple M4, funkce Qualcomm Hexagon v Snapdragonu I když nejsou úplně stejné, GPU NVIDIA rozmazávají čáry kvůli jejich působivým schopnostem lámat čísla. NPU jsou stále všudypřítomné.

Jak již bylo zmíněno, NPU jsou speciálně navrženy tak, aby zvládaly pracovní zátěže strojového učení (spolu s dalšími matematicky náročnými úkoly). Laicky řečeno, NPU je velmi užitečná, možná dokonce nezbytná součást pro provozování AI na zařízení spíše než v cloudu. Jak jste si nepochybně všimli, zdá se, že AI je v dnešní době všude a integrace podpory přímo do produktů je zásadním krokem na této cestě.

Velká část dnešního zpracování AI se provádí v cloudu, ale to není ideální z několika důvodů. První je latence a požadavky na síť; K nástrojům nemáte přístup, když jste offline, nebo možná budete muset ve špičce čekat na dlouhé doby zpracování. Odesílání dat přes internet je také méně bezpečné, což je velmi důležitý faktor při používání umělé inteligence, která má přístup k vašim osobním údajům, jako je předvolání společnosti Microsoft.

Jednoduše řečeno, běh na zařízení je nejlepší. Úlohy umělé inteligence jsou však velmi náročné na výpočetní výkon a na tradičních zařízeních nefungují dobře. Možná jste si toho všimli, pokud jste na svém notebooku zkoušeli vytvářet obrázky přes Stable Diffusion. U pokročilejších úloh to může být bolestně pomalé, ačkoli CPU dokážou dobře spouštět řadu „jednodušších“ úloh umělé inteligence.

Řešením je použití vyhrazeného hardwaru pro urychlení těchto pokročilých úkolů. Více o tom, co NPU dělají, si můžete přečíst později v tomto článku, ale TLDR spočívá v tom, že spouštějí úlohy umělé inteligence rychleji a efektivněji, než to dokáže váš CPU sám. Jeho výkon se často odhaduje v bilionech operací za sekundu (TOPS), ale to není příliš užitečná metrika, protože vám přesně neřekne, co jednotlivé procesy dělají. Místo toho je často lepší hledat čísla, která vám řeknou, jak rychle trvá zpracování tokenů pro velké formuláře.

Když už mluvíme o TOPS, rané NPU smartphonů a notebooků byly hodnoceny desítkami TOPS. Obecně to znamená, že mohou urychlit základní úkoly umělé inteligence, jako je detekce objektů fotoaparátu pro použití rozostření bokeh nebo sumarizace textu. Pokud chcete provozovat velký jazykový model nebo používat generativní umělou inteligenci k rychlé produkci médií, budete potřebovat výkonnější akcelerátor/GPU v řádu stovek nebo tisíců TOPS.

NPU je zcela odlišný od CPU kvůli typu zátěže, pro kterou je navržen. Typický procesor ve vašem notebooku nebo smartphonu je poměrně univerzální, aby vyhovoval široké škále aplikací, podporuje široké sady instrukcí (funkce, které může provádět), různé způsoby ukládání do mezipaměti a volání funkcí (pro urychlení opakujících se smyček) a velká velikost. Okna provádění jsou mimo provoz (takže mohou pokračovat v práci místo čekání).

Úlohy strojového učení jsou však různé a nepotřebují tolik flexibility. Pro začátek jsou velmi matematicky náročné, často vyžadují opakující se a výpočetně nákladné instrukce, jako je násobení matic a velmi rychlý přístup k velkým blokům paměti. Často také pracují s neobvyklými datovými formáty, jako jsou šestnácti-, osmi- nebo dokonce čtyřbitová celá čísla. Pro srovnání, váš typický CPU je postaven na 64bitových celých číslech a matematice s pohyblivou řádovou čárkou (často s přidanými dalšími instrukcemi).

Vybudování vyhrazeného NPU pro masivní paralelní výpočty pro tyto specifické úlohy vede k rychlejšímu výkonu a menšímu plýtvání energií na funkce nečinnosti, které danému úkolu nepomáhají. Ne všechny NP jsou si však rovny. I mimo jejich rozsáhlé možnosti zpracování čísel je lze sestavit tak, aby podporovaly různé typy a operace celých čísel, což znamená, že některé NPU jsou lepší v práci na určitých modelech. Některé NPU smartphonů například používají formáty INT8 nebo dokonce INT4, aby šetřily energii, ale lepší přesnost získáte díky pokročilejšímu, ale energeticky náročnému modelu FP16. Pokud potřebujete skutečně pokročilé výpočty, vyhrazené GPU a externí akcelerátory jsou stále výkonnější a formátově všestrannější než integrované NPU.

Jako zálohu mohou CPU spouštět úlohy strojového učení, ale často jsou mnohem pomalejší. Moderní CPU od Arm, Apple, Intel a AMD podporují potřebné matematické instrukce a některé menší úrovně škálování. Úzké místo je často v tom, kolik z těchto funkcí může běžet paralelně a jak rychle lze data přesouvat do paměti a z ní, k čemuž jsou NPU speciálně navrženy.

Ačkoli nejsou zásadní, zvláště pokud vám nezáleží na směřování AI, NPU jsou vyžadovány pro některé z nejnovějších funkcí, které najdete v mobilním a počítačovém prostoru.

Například Copilot Plus společnosti Microsoft specifikuje jako minimální požadavek NPU 40TOPS, který budete muset použít pro vyvolání systému Windows. Procesory Meteor Lake od Intelu a čipy Ryzen 8000 od AMD nalezené v současných noteboocích (v době psaní tohoto článku) bohužel tento požadavek nesplňují. Nově oznámená čipová sada Stix Point Ryzen od AMD je však kompatibilní. Na náhradu x64 za Snapdragon na bázi Arm nebudete muset dlouho čekat

Oblíbené počítačové nástroje jako Audacity, DaVinci Resolve, Zoom a mnoho dalších využívají ty nejnáročnější funkce AI na zařízení. Ačkoli to není nezbytné pro základní pracovní zátěž, tyto funkce jsou stále populárnější, a pokud tyto nástroje používáte pravidelně, měli byste při příštím nákupu vzít v úvahu možnosti umělé inteligence.

Pokud jde o smartphony, funkce a možnosti se podle značky trochu liší. Například Samsung Galaxy AI funguje pouze na jeho výkonných vlajkových lodích Galaxy S. Do dostupnějšího Galaxy A55 nepřinesl funkce, jako je chatová pomoc nebo okamžitý překladač, pravděpodobně kvůli tomu, že postrádá potřebný výpočetní výkon. Některé funkce Samsungu však fungují také v cloudu, ale pravděpodobně nebudou financovány prostřednictvím cenově dostupných nákupů. Když už jsme u toho, Google je na stejné úrovni, pokud jde o konzistenci funkcí. Na Pixel 8 Pro najdete nejlepší doplňky AI od Googlu, jako je Video Boost – a Pixel 8 a dokonce i dostupnější Pixel 8a stále používají mnoho stejných nástrojů AI.

Umělá inteligence nakonec existuje a NPU jsou klíčem k využití funkcí na zařízení, které nelze spustit na starším hardwaru. Stále jsme však v počátcích zátěže AI, zejména v oblasti notebooků. Softwarové požadavky a hardwarové možnosti budou v příštích letech jen růst. V tomto smyslu by nebylo na škodu počkat, až se prach usadí, než skočíte dovnitř.