Prithvi-EO-2.0 600M TPS kalkulátor
Minden kártyát az alábbiak szerint értékelünk e modell alapján a választott kontextus hossza és minimális minőség szerint. A sebesség egy becslés egyetlen kérésre, amelyet a kártya memória sávszélessége és a modell mérete alapján számítunk ki, miután tömörítettük..
Kiszámítva ehhez a MODElhez
818 kártyák, amelyek specifikációs adataink vannak
Legkisebb kártya, ami elfér
Tesla C1080
4 GB · Q8_0 · 61.4 tok/s
Leggyorsabb kártya
B200
5,647 tok/s · 180 GB
Melyik GPU képes futtatni Prithvi-EO-2.0 600M?
Állítsa be a bemeneteket, olvassa el a választ
Egy hosszabb beszélgetés több memóriaigényt támaszt, ami kiszoríthatja ezt a modellt a kisebb kártyákról..
Elrejti azokat a GPU-kártyákat, amelyek csak a modellbe illeszkednének a compressziójuk ezen pont alá..
818 kártyák illeszkednek
Számítás| Szükséges | Kvantisálás | Illeszkedik | |||||
|---|---|---|---|---|---|---|---|
|
5,647
tok/s
3,388–9,035 · alacsony bizalom |
B200 NVIDIA | 180 GB | 8,000 GB/s | Jan 2024 | 1.3 GB | Q8_0 | Kényelmes |
|
5,647
tok/s
3,388–9,035 · alacsony bizalom |
B300 NVIDIA | 288 GB | 8,000 GB/s | Sep 2025 | 1.3 GB | Q8_0 | Kényelmes |
|
4,509
tok/s
2,706–7,215 · alacsony bizalom |
Radeon Instinct MI350X AMD | 288 GB | 8,190 GB/s | Jan 2025 | 1.3 GB | Q8_0 | Kényelmes |
|
4,509
tok/s
2,706–7,215 · alacsony bizalom |
Radeon Instinct MI355X AMD | 288 GB | 8,190 GB/s | Jan 2025 | 1.3 GB | Q8_0 | Kényelmes |
|
3,606
tok/s
2,164–5,770 · alacsony bizalom |
Radeon Instinct MI300 AMD | 128 GB | 6,550 GB/s | Jan 2023 | 1.3 GB | Q8_0 | Kényelmes |
|
3,452
tok/s
2,071–5,523 · alacsony bizalom |
H200 NVL NVIDIA | 141 GB | 4,890 GB/s | Nov 2024 | 1.3 GB | Q8_0 | Kényelmes |
|
3,452
tok/s
2,071–5,523 · alacsony bizalom |
H200 SXM 141 GB NVIDIA | 141 GB | 4,890 GB/s | Nov 2024 | 1.3 GB | Q8_0 | Kényelmes |
|
3,304
tok/s
1,982–5,286 · alacsony bizalom |
Radeon Instinct MI325X AMD | 256 GB | 6,000 GB/s | Oct 2024 | 1.3 GB | Q8_0 | Kényelmes |
|
2,932
tok/s
1,759–4,691 · alacsony bizalom |
Radeon Instinct MI300A AMD | 128 GB | 5,325 GB/s | Dec 2023 | 1.3 GB | Q8_0 | Kényelmes |
|
2,932
tok/s
1,759–4,691 · alacsony bizalom |
Radeon Instinct MI300X AMD | 192 GB | 5,325 GB/s | Dec 2023 | 1.3 GB | Q8_0 | Kényelmes |
|
2,932
tok/s
1,759–4,691 · alacsony bizalom |
Radeon Instinct MI308X AMD | 192 GB | 5,325 GB/s | Dec 2023 | 1.3 GB | Q8_0 | Kényelmes |
|
2,781
tok/s
1,669–4,450 · alacsony bizalom |
H100 NVL 94 GB NVIDIA | 94 GB | 3,940 GB/s | Mar 2023 | 1.3 GB | Q8_0 | Kényelmes |
|
2,372
tok/s
1,423–3,795 · alacsony bizalom |
H100 PCIe 96 GB NVIDIA | 96 GB | 3,360 GB/s | Mar 2023 | 1.3 GB | Q8_0 | Kényelmes |
|
2,372
tok/s
1,423–3,795 · alacsony bizalom |
H100 SXM5 80 GB NVIDIA | 80 GB | 3,360 GB/s | Oct 2022 | 1.3 GB | Q8_0 | Kényelmes |
|
2,372
tok/s
1,423–3,795 · alacsony bizalom |
H100 SXM5 94 GB NVIDIA | 94 GB | 3,360 GB/s | Mar 2023 | 1.3 GB | Q8_0 | Kényelmes |
|
2,372
tok/s
1,423–3,795 · alacsony bizalom |
H100 SXM5 96 GB NVIDIA | 96 GB | 3,360 GB/s | Mar 2023 | 1.3 GB | Q8_0 | Kényelmes |
|
2,372
tok/s
1,423–3,795 · alacsony bizalom |
H800 SXM5 NVIDIA | 80 GB | 3,360 GB/s | Mar 2023 | 1.3 GB | Q8_0 | Kényelmes |
|
1,806
tok/s
1,084–2,889 · alacsony bizalom |
Radeon Instinct MI250 AMD | 128 GB | 3,280 GB/s | Nov 2021 | 1.3 GB | Q8_0 | Kényelmes |
|
1,806
tok/s
1,084–2,889 · alacsony bizalom |
Radeon Instinct MI250X AMD | 128 GB | 3,280 GB/s | Nov 2021 | 1.3 GB | Q8_0 | Kényelmes |
|
1,505
tok/s
903–2,408 · alacsony bizalom |
Data Center GPU Max 1550 Intel | 128 GB | 3,280 GB/s | Jan 2023 | 1.3 GB | Q8_0 | Kényelmes |
|
1,473
tok/s
884–2,357 · alacsony bizalom |
Data Center GPU Max Subsystem Intel | 128 GB | 3,210 GB/s | Jan 2023 | 1.3 GB | Q8_0 | Kényelmes |
|
1,440
tok/s
864–2,304 · alacsony bizalom |
A100 SXM4 80 GB NVIDIA | 80 GB | 2,040 GB/s | Nov 2020 | 1.3 GB | Q8_0 | Kényelmes |
|
1,440
tok/s
864–2,304 · alacsony bizalom |
A100X NVIDIA | 80 GB | 2,040 GB/s | Jun 2021 | 1.3 GB | Q8_0 | Kényelmes |
|
1,440
tok/s
864–2,304 · alacsony bizalom |
A800 SXM4 80 GB NVIDIA | 80 GB | 2,040 GB/s | Aug 2022 | 1.3 GB | Q8_0 | Kényelmes |
|
1,440
tok/s
864–2,304 · alacsony bizalom |
H100 CNX NVIDIA | 80 GB | 2,040 GB/s | Mar 2023 | 1.3 GB | Q8_0 | Kényelmes |
A sebességek egyetlen kérésre - egy beszélgetés egy időben - vonatkozó becslések, amelyeket a MEMORY BANDWIDTH, a MODEL SIZE és a QUANTISATION alapján számítanak ki. A valós áteresztőképesség változik az INFERENCE RUNTIME és annak verziója szerint. A HARDWARE VENDORS által közzétett számok sok párhuzamos kérést mérnek, és sokkal magasabbak..
Nyilvántartásban
Teljes specifikáció
Minden feljegyzett ezzel a modellel kapcsolatban. A legtöbbje azt írja le, hogyan képezték ki, nem pedig azt, hogyan fut — hasznos kontextus annak megítéléséhez, hogy mennyi munka ment bele, és hogyan viszonyul a más méretben épített modellekhez..
Eredet
Ki építette ezt a modellt, hol, és mikor publikálták.
- Szervezet
- IBM Research,NASA,University of Alabama,University of Iceland,Forschungszentrum Julich,Virginia Tech (Virginia Polytechnic Institute and State University),Arizona State University,Oregon State University,Boston University,University of California (UC) Berkeley,Julich Supercomputing Center
- Szervezet típusa
- Industry,Government,Academia,Academia,Government,Academia,Academia,Academia,Academia,Academia,Government
- Ország
- United States of America, Iceland, Germany
- Közölt
- 3 February 2025
- Szerzők
- Daniela Szwarcman, Sujit Roy, Paolo Fraccaro, Þorsteinn Elí Gíslason, Benedikt Blumenstiel, Rinki Ghosal, Pedro Henrique de Oliveira, Joao Lucas de Sousa Almeida, Rocco Sedona, Yanghui Kang, Srija Chakraborty, Sizhe Wang, Carlos Gomes, Ankur Kumar, Myscon Truong, Denys Godwin, Hyunho Lee, Chia-Yu Hsu, Ata Akbari Asanjan, Besart Mujeci, Disha Shidham, Trevor Keenan, Paulo Arevalo, Wenwen Li, Hamed …
Mit csinál
A probléma területek, amelyekre a modell készült. Egy modell több mindegyikből hordozhat.
- Tartomány
- Earth science
Méret
Mekkora a modell, és mennyi adatot használtak a betanításához. A paraméterek azok a számok, amelyek eldöntik, hogy az adott grafikus kártyára illeszkedik-e.
- Paraméterek
- 600M
- Képzési adatok
- tokens
- Epochok
- 400
600M
"Trained on 4.2M global time series samples from NASA’s Harmonized Landsat and Sentinel-2 data archive at 30m resolution" "The models were trained for 400 epochs"
Képzés számítás
A modell tanításához végrehajtott aritmetika, lebegőpontos műveletekben mérve. Ez a tanítási futás költségének mértéke, nem pedig annak, hogy mennyire gyorsan válaszol a kész modell.
- Képzés számítás
- 2 × 10²² FLOP
- Hogyan jött létre
- Hardware
312000000000000 FLOP / GPU / sec [bf16 assumed] * 58000 GPU-hours * 3600 sec / hour * 0.3 [assumed utilization] = 1.954368e+22 FLOP
A tréning futás
Ami fizikailag szükséges volt a betanításhoz: mely chipek, hány, mennyi ideig, és ez mit fogyasztott a falból.
- Képzési hardver
- NVIDIA A100
- Használt chipek
- 240
- Chip-óra
- 58,000
- Teljesítményfogyasztás
- 188.5 kW
Elérhetőség
Hogy meg tudja-e szerezni a modellt és futtatni a saját hardverén, ez dönt arról, hogy alkalmazhatóak-e a lap ezen oldalán feltüntetett grafikus kártya adatok.
- Súlyok
- Open — downloadable
- Modell hozzáférés
- Open weights (unrestricted)
- Hugging Face
- ibm-nasa-geospatial
Hogyan van besorolva
Címkék a forráshalmazra, amelyeket a figyelemre méltó modellek nyomon követésekor alkalmaznak, és hogy mennyire biztos az adatbevitelben.
- Nyilvántartási bizalom
- Confident
Források
Honnan származik ez a felvétel és mikor ellenőrizték utoljára.
- Referencia
- Prithvi-EO-2.0: A Versatile Multi-Temporal Foundation Model for Earth Observation Applications
- Utoljára frissítve
- 28 November 2025
Az extremitások
A tíz leggyorsabb GPU, amely képes futtatni Prithvi-EO-2.0 600M
A másodpercenkénti becsült tokenek alapján rangsorolva, a legújabb kártyát először, ahol a sebességek azonosak. Mivel a generálás a MEMÓRIA SZÉLESSÉGÉhez van kötve, ez a sorrend a sávszélességet követi, nem pedig bármilyen játékbeli tesztet..
- 01 B300 288 GB · 8,000 GB/s · Q8_0 5,647 tok/s
- 02 B200 180 GB · 8,000 GB/s · Q8_0 5,647 tok/s
- 03 Radeon Instinct MI350X 288 GB · 8,190 GB/s · Q8_0 4,509 tok/s
- 04 Radeon Instinct MI355X 288 GB · 8,190 GB/s · Q8_0 4,509 tok/s
- 05 Radeon Instinct MI300 128 GB · 6,550 GB/s · Q8_0 3,606 tok/s
- 06 H200 NVL 141 GB · 4,890 GB/s · Q8_0 3,452 tok/s
- 07 H200 SXM 141 GB 141 GB · 4,890 GB/s · Q8_0 3,452 tok/s
- 08 Radeon Instinct MI325X 256 GB · 6,000 GB/s · Q8_0 3,304 tok/s
- 09 Radeon Instinct MI300A 128 GB · 5,325 GB/s · Q8_0 2,932 tok/s
- 10 Radeon Instinct MI300X 192 GB · 5,325 GB/s · Q8_0 2,932 tok/s
A legkisebb GPU-k, amik még futnak Prithvi-EO-2.0 600M
A legolcsóbb út, a memória kapacitás alapján. Egy szoros illeszkedés futtatja a modellt, de semmit sem hagy a hosszabb beszélgetésre..
- 01 GeForce RTX 4010 4 GB · Szükséges 1.3 GB · Q8_0 · Kényelmes 67.8 tok/s
- 02 RTX A400 4 GB · Szükséges 1.3 GB · Q8_0 · Kényelmes 67.8 tok/s
- 03 RTX 500 Mobile Ada Generation 4 GB · Szükséges 1.3 GB · Q8_0 · Kényelmes 90.4 tok/s
- 04 GeForce RTX 3050 A Mobile 4 GB · Szükséges 1.3 GB · Q8_0 · Kényelmes 136 tok/s
- 05 Jetson Orin Nano 4 GB 4 GB · Szükséges 1.3 GB · Q8_0 · Kényelmes 24.1 tok/s
- 06 Radeon RX 6450M 4 GB · Szükséges 1.3 GB · Q8_0 · Kényelmes 70.5 tok/s
- 07 Radeon RX 6550M 4 GB · Szükséges 1.3 GB · Q8_0 · Kényelmes 79.3 tok/s
- 08 Radeon RX 6550S 4 GB · Szükséges 1.3 GB · Q8_0 · Kényelmes 70.5 tok/s
- 09 Arc A310 4 GB · Szükséges 1.3 GB · Q8_0 · Kényelmes 56.9 tok/s
- 10 Arc Pro A30M 4 GB · Szükséges 1.3 GB · Q8_0 · Kényelmes 58.7 tok/s
Mit jelentenek a számok
Ami szükséges a futtatásához
Minimális kártya
Tesla C1080
Szükséges memória
1.3 GB
Leggyorsabb
5,647 tok/s
Prithvi-EO-2.0 600M eléri a paraméterek számát 600M. Ez elég kicsi ahhoz, hogy a hardver ritkán legyen az akadály, beleértve a több éves kártyákat is. Azoknak a kártyáknak a száma, amelyeket nyomon követünk, és amelyek el tudják futtatni: 818.
A legkevesebb hardver, ami működik, az Tesla C1080, memória kapacitással rendelkezik 4 GB, futtatás egy tömörítési arányon Q8_0 és körülbelül előállítva 61.4 tokenek másodpercenként
A legjobb kategóriájú B200, nagyjából generálás 5,647 másodpercenkénti tokenek egy memória sávszélesség erejében 8,000 GB/s.
Erről a modelről
Prithvi-EO-2.0 600M ki lett adva által IBM Research,NASA,University of Alabama,University of Iceland,Forschungszentrum Julich,Virginia Tech (Virginia Polytechnic Institute and State University),Arizona State University,Oregon State University,Boston University,University of California (UC) Berkeley,Julich Supercomputing Center, az országban rögzítve mint United States of America, alatt February 2025. A kiadó kategóriája alá tartozik industry,Government,Academia,Academia,Government,Academia,Academia,Academia,Academia,Academia,Government.
Működik a területen a Earth science.
A nyílt súlyok az okai annak, hogy ez az oldal a kalkulátorban van, és nem csak a katalógusban: ez egy olyan modell, amit valójában meg tudsz tartani. A Hugging Face-en az alábbi szervezet alatt van publikálva ibm-nasa-geospatial.
Milyen gyorsan fut, és miért
A medián eredmény körül 158.6 másodpercenkénti tokenek. Jogosultsági olvasási sebesség: 809 tőlük
Ez egy sűrű modell, így minden paramétert minden előállított tokenhez elolvasnak. Ez szinte pontosan nyomon követi a memória-sávszélességet — egy kártya, amelynek kétszer akkora a sávszélessége, körülbelül kétszer olyan gyorsan generál.
Itt a memória méret alapján van megbecsülve, nem pedig az architektúrából számítva, amely nincs rögzítve ennél a modellnél — a számok tájékoztató jellegűek, nem pontosak.
Mi került a felépítésébe
A betanításhoz körülbelül egy számítási költségvetés kellett 2 × 10²² FLOP, hardveren rögzítve NVIDIA A100. Ez a szám azt méri, hogy mennyibe került a modell előállítása, és nincs hatással arra, hogy milyen gyorsan válaszol.
Lépésről lépésre
Hogyan válasszunk GPU-t a Prithvi-EO-2.0 600M
A fenti táblázat már értékelte az összes kártyát, amelynek specifikációi elérhetők ennek a modellen. A válaszod megszerzése hat lépést igényel..
-
01
Nézd meg, mire van szüksége, mielőtt bármi mást tennél.
Minden kártyát itt leellenőriztünk a következőkkel szemben Prithvi-EO-2.0 600M, körülbelül szükséges 1.3 GB a tömörítésnél Q8_0. Semennyi feldolgozási teljesítmény nem kompenzálja azt a kártyát, amelyik nem tudja megtartani.
-
02
Döntsön arról, hogy mennyi ideig tartanak a beszélgetései.
A beszélgetés is elfoglalja a VRAM-ot, és ahogy halad, nő. Állítsa be a csúszkát a várt hosszúságra, mert hosszú kontextusnál egy kártya, amely könnyen kezeli a rövid kérdéseket, lemaradhat. Prithvi-EO-2.0 600M.
-
03
Döntsd el, mennyi tömörítést fogadsz el.
A tömörítés az, ami lehetővé teszi, hogy egy modell kisebb kártyákra illeszkedjen, bizonyos költséggel a pontosság terén., elérni egy tömörítést a Q8_0 a legkisebb kártyán, ami elfér. A minimális minőség beállítása eldobja azokat a kártyákat, amelyek csak úgy tudják kezelni, hogy tovább szorítanak, mint amit szeretnél, és egy szinten tartja az összehasonlítást.
-
04
Rangsoroljon átbocsátás alapján, nem pedig specifikációs lap szerint.
A rangsorolás a másodpercenkénti tokenek alapján a memóriából származó sávszélességet követi, nem pedig a core-ok számát, ezért Prithvi-EO-2.0 600M. Nem fog illeszkedni egy gaming rendeléshez, mert a generálás a memória sávszélesség által kötött. A listát vezető KÁRTYA B200, at 5,647 tok/s
-
05
Olvasd el az illeszkedés oszlopot utoljára.
A megfelelő oszlop elválasztja azokat a kártyákat, amelyek épp hogy elboldogulnak, azoktól, amelyeknek van szabad helyük, az esetében Prithvi-EO-2.0 600M. A Kényelmes azt jelenti, hogy később bővítheted a contextet. Ez a különbség fontosabb, mint néhány token másodpercenként, így kényelmeset vásárolj, ha ezt várod.
-
06
Nézd meg a kártyát a másik oldalról.
Minden kártyaoldal megismétli ezt a vizsgálatot minden modellre, amelyet birtoklunk, válaszolva arra, hogy mi másra jó a hardver, azon kívül, hogy Prithvi-EO-2.0 600M.
Válaszok
Prithvi-EO-2.0 600M — gyakori kérdések
Prithvi-EO-2.0 600M— miért különbözik a kvantálás a kártyák között?
Mivel a kapacitás változik, úgy az is, hogy mennyire kell összenyomni. A fenti táblázatban lévő különböző szintek száma: 1. A nagyobb kártyák a pontosabb verziót kapják, és a minőségi küszöb felett a összehasonlítást egy szinten rögzíti.
Prithvi-EO-2.0 600M— Mennyire pontosak ezek a sebességbecslések?
Ezek becslések valós hibahatárokkal, és bármelyikük ésszerűen bárhol elhelyezkedhet a közzétett tartományán belül, attól függően, hogy milyen futtatási időt használsz. A leggyorsabb eredmény itt: 3,388–9,035 tok/s a fájlban B200. Ugyanaz a modell és kártya harminc és ötven százalék között változik a következtetési szoftvertől és annak verziójától függően.
Prithvi-EO-2.0 600M— Milyen GPU-ra van szükségem, hogy futtathassam?
A katalógusunk legkisebb kártyája, ami ezt tartja, az Tesla C1080, memória kapacitással rendelkezik 4 GB. A modell egy tömörítéssel fut. Q8_0 használva körülbelül 1.3 GB, és körülbelül 61.4 másodpercenkénti tokenek. A kártyák összes száma, amelyek képesek futtatni. 818.
Prithvi-EO-2.0 600M— mennyi idő alatt fut a GPU-n?
A kártyától függ. A leggyorsabb, amit számolunk, az B200, körülbelül 5,647 tokenek másodpercenként; a leglassabb, ami még fut, jelentősen kevesebbet képes kezelni. Az olvasási sebesség körülbelül tíz token másodpercenként, és a kártyák száma, amelyek ezt meg tudják tisztítani: 809.
Prithvi-EO-2.0 600M— mennyi VRAM-ra van szüksége?
Kb. 1.3 GB tömörítési arányban Q8_0, melyik az a legkisebb KÁRTYA, amelyik futtatni tudja. Kevesebb tömörítés több szükséges: a fentebbi memória oszlop számai minden KÁRTYÁRA újraszámításra kerülnek, mert mindegyik tartalmazza a legkevésbé tömörített verziót, amit csak tud.
Prithvi-EO-2.0 600M— futtathatom egy GPU-n tartva 8 GB?
Igen. A KÁRTYA CMP 170HX 8 GB, tartás 8 GB, futtatja egy tömörítési arány mellett Q8_0, használva körülbelül 1.3 GB és körülbelül generálás 1,052 másodpercenkénti tokenek. A illeszkedés kényelmes.
Prithvi-EO-2.0 600M— futtathatom egy GPU-n tartva 12 GB?
Igen. A KÁRTYA GeForce RTX 3080 Ti, tartás 12 GB, futtatja egy tömörítési arány mellett Q8_0, használva körülbelül 1.3 GB és körülbelül generálás 644 másodpercenkénti tokenek. A illeszkedés kényelmes.
Prithvi-EO-2.0 600M— futtathatom egy GPU-n tartva 16 GB?
Igen. A KÁRTYA Tesla V100 SXM2 16 GB, tartás 16 GB, futtatja egy tömörítési arány mellett Q8_0, használva körülbelül 1.3 GB és körülbelül generálás 798 másodpercenkénti tokenek. A illeszkedés kényelmes.
Prithvi-EO-2.0 600M— futtathatom egy GPU-n tartva 24 GB?
Igen. A KÁRTYA GeForce RTX 5090 D V2, tartás 24 GB, futtatja egy tömörítési arány mellett Q8_0, használva körülbelül 1.3 GB és körülbelül generálás 946 másodpercenkénti tokenek. A illeszkedés kényelmes.
Prithvi-EO-2.0 600M— Nyílt forráskódú?
Súlyai közzétételre kerültek, így letölthető és futtatható a saját hardvereden. Ne feledd, hogy az open weight nem azonos az open source teljes értelmében — nem mond semmit a tanulási adatokkal, a tanulási kóddal vagy a kereskedelmi feltételekkel kapcsolatban.
Prithvi-EO-2.0 600M— Hány paramétere van?
Paraméterszáma 600M. 600M. Ez a szám a teljes összeg, és ez határozza meg, hogy mennyi VRAM-ra van szüksége a modelleknek — körülbelül fél gigabájt milliárdonként a legtöbb ember által használt tömörítési módban.
Prithvi-EO-2.0 600M— Ki készítette ezt?
Kiadta IBM Research,NASA,University of Alabama,University of Iceland,Forschungszentrum Julich,Virginia Tech (Virginia Polytechnic Institute and State University),Arizona State University,Oregon State University,Boston University,University of California (UC) Berkeley,Julich Supercomputing Center, alapján United States of America, egy szervezet, amelyet kategorizáltak mint industry,Government,Academia,Academia,Government,Academia,Academia,Academia,Academia,Academia,Government.
Prithvi-EO-2.0 600M— Mikor adták ki?
Kibocsátották a February 2025.
Prithvi-EO-2.0 600M— Mire használják?
Működik a területen a Earth science. Ezek azok a területek, amelyek köré tervezték; ezek a szándékot írják le, nem pedig egy szigorú határt.
Prithvi-EO-2.0 600M— Hol tudom letölteni?
Súlyait a Hugging Face-en tette közzé, a szervezet alatt ibm-nasa-geospatial. Nem tárolunk modell fájlokat — ez az oldal kiszámolja, hogy milyen hardver szükséges a futtatásukhoz.
Prithvi-EO-2.0 600M— mennyi számítási kapacitást használtak annak a betanításához?
A képzés körülbelül elfogyasztott 2 × 10²² FLOP, hardveren rögzítve NVIDIA A100. Ez azt méri, hogy mennyibe került a modell előállítása, és semmit nem mond arról, hogy milyen gyorsan válaszol, miután betanult — a következtetési sebesség a memória sávszélességéből származik, nem az edzési költségvetésből.
Prithvi-EO-2.0 600M— Futtathatom, ha nem fér el a GPU-mban?
Részben. Azok a rétegek, amelyek nem férnek el a GPU VRAM-ban, a rendszer memóriájában ülnek és a sebesség egy töredékén futnak, így egy túlnyomórészt áthelyezett AI model használata ritkán éri meg. Minden ábra azt feltételezi, hogy az egész model a kártyán tartózkodik.
Prithvi-EO-2.0 600M— Futtatna-e két GPU gyorsabban?
Egy második Kártya körülbelül megduplázza a rendelkezésre álló MEMÓRIÁT, de nem a generálási sebességet. A szám, amely már képes egyedül futtatni: 818. Tehát egy második KÁRTYA ritkán a megoldás itt.
A másik irány
Másik oldalról nézve?
Ez az oldal a modellel kezdődik. Ha már van kártyád, és szeretnéd tudni, hogy mindent futtat-e, Kezdj a hardverből..