AFM-on-device
Geen schatting
Geen hardwarevereisten voor dit model
De gewichten voor dit model zijn niet gepubliceerd, dus het kan niet worden gedownload of op uw eigen hardware worden uitgevoerd in welke omvang dan ook. Het is alleen toegankelijk via de provider, en geen grafische kaart verandert dat.
Op record
Volledige specificatie
Alles over dit model vastgelegd. Het meeste beschrijft hoe het getraind is in plaats van hoe het draait — nuttige context om te beoordelen hoeveel werk erin gestoken is en hoe het zich verhoudt tot modellen die op een andere schaal zijn gebouwd.
Oorsprong
Wie heeft dit model gebouwd, waar en wanneer het werd gepubliceerd.
- Organisatie
- Apple
- Organisatie type
- Industry
- Land
- United States of America
- Gepubliceerd
- 29 July 2024
- Auteurs
- Andy Narayanan, Aonan Zhang, Bowen Zhang, Chen Chen, Chong Wang, Chung-Cheng Chiu, David Qiu, Deepak Gopinath, Dian Ang Yap, Dong Yin, Feng Nan, Floris Weers, Guoli Yin, Haoshuo Huang, Jianyu Wang, Jiarui Lu, John Peebles, Ke Ye, Mark Lee, Nan Du, Qibin Chen, Quentin Keunebroek, Ruoming Pang, Sam Wiseman, Syd Evans, Tao Lei, Tom Gunter, Vivek Rathod, Xiang Kong, Xianzhi Du, Yanghao Li, Yongqiang W…
Wat het doet
De probleemgebieden waarvoor het model is gebouwd. Een model kan er verschillende van elk bevatten.
- Domein
- Language
- Taak
- Language modeling/generation
- Benadering
- Self-supervised learning
- Numerical format
- BF16
Grootte
Hoe groot het model is en hoeveel data erop is getraind. Parameters zijn de cijfers die bepalen of het op een bepaalde grafische kaart past.
- Parameters
- 2.7B
- Opleidingsgegevens
- 7,588,000,000,000 tokens
- Epochs
- 1
- Batch size
- 18,949,753
Table 1, sum of non-embedding and embedding parameters
Not explicitly mentioned, but I assume the 7.588T tokens do not involve multiple epochs.
Main pretraining uses sequence length of 4096 tokens; 4096 sequences per batch. During the "continued" pre-training stage, sequence length is upped to 8192 while batch size remains 4096. During context lengthening, sequence length is upped to 32768 while "the recipe is similar to that used for continued pre-training" implies same batch size of 4096. Weighting batch sizes by number of tokens seen in each stage: exp((6.3T * ln(4096 * 4096) + 1T * ln(8192 * 4096) + 100B * ln(32768 * 4096))/ 7.4T)…
Training berekeningen
De rekeningen die worden uitgevoerd om het model te trainen, gemeten in drijvende-komma-berekeningen. Het is een maat voor wat de trainingsrun kostte, niet hoe snel het voltooide model je antwoordt.
- Training berekeningen
- 4.5 × 10²³ FLOP
- Hoe het werd opgericht
- Operation counting
Model was initialized from a pruned version of a 6.4B parameter model trained using the same recipe as AFM-server. Assuming "same recipe" involves training for the full 6.3T tokens, this implies 6 * 6.3T * 6.4B = 2.42e23 FLOP. The pruning masks are learned by training over 188B tokens, which suggests 6 * 188B * 6.4B = 7.22e21 FLOPs. Pretraining is then run over 6.3T tokens; however, labels are a convex combination of true labels and the predicted labels from the unpruned 6.4B model. Since thi…
De trainingsrun
Wat het fysiek kostte om te trainen: welke chips, hoeveel, hoe lang, en wat dat van het net trok.
- Trainingshardware
- Google TPU v5p
- Chips used
- 2,048
- Hardware utilisation
- MFU 52.0%
- Energieverbruik
- 2.2 MW
- Cloud vendor
- Google Cloud
- Data centre
- Google us-east (either us-east1 or us-east5)
MFU is stated for AFM-server, assumed similar. If anything, this is likely a lower bound as training is done on a single slice of TPU chips compared to the 8 slices for AFM-server. "AFM-server was trained on 8192 TPUv4 chips provisioned as 8 × 1024 chip slices, where slices are connected together by the data-center network (DCN) [Chowdhery et al., 2022]. Only data-parallelism crosses the slice boundary, other types of state sharding are within-slice only as the within-slice interconnect bandwi…
Beschikbaarheid
Of je het model kunt verkrijgen en het op je eigen hardware kunt draaien, wat bepaalt of een van de grafische kaartcijfers op deze pagina van toepassing is.
- Gewichten
- Closed — provider access only
- Model toegang
- Hosted access (no API)
- Trainingscode
- Unreleased
Hoe het is geclassificeerd
Labels de bron dataset toepast bij het volgen van opmerkelijke modellen, en hoe zeker het is van de invoer.
- Waarschijnlijk boven 10²³ FLOP
- Yes
- Waarom het wordt gevolgd
- Significant use
- Vereiste vertrouwen
- Confident
Currently in beta access only, but will be integrated into millions or billions of iPhones.
Bronnen
Waar deze record vandaan komt en wanneer het voor het laatst is gecontroleerd.
- Referentie
- Apple Intelligence Foundation Language Models
- Laatst bijgewerkt
- 28 November 2025
Wat de cijfers betekenen
Achtergrond
AFM-on-device was published by Apple, in United States of America, in July 2024. The organisation is categorised as industry.
It works in Language, and is recorded as doing language modeling/generation.
Dit is een gesloten model: de getrainde waarden zijn bij degene gebleven die ze geproduceerd hebben, en er is geen lokale versie om te draaien.
Hoe het was getraind
The training run consumed about 4.5 × 10²³ FLOP, on Google TPU v5p. That figure describes the cost of creating it and has no bearing on how quickly it generates text.
Around 7,588,000,000,000 tokens went into training it.
It is tracked in the underlying dataset for one reason in particular: significant use.
Antwoorden
AFM-on-device — Veelgestelde vragen
What GPU do I need to run AFM-on-device?
None. AFM-on-device is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is AFM-on-device open source?
No. AFM-on-device has not had its weights published, so it exists only as a service controlled by its owner.
How many parameters does AFM-on-device have?
AFM-on-device has 2.7B parameters. Table 1, sum of non-embedding and embedding parameters. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Who created AFM-on-device?
AFM-on-device was published by Apple, based in United States of America, categorised as industry.
When was AFM-on-device released?
AFM-on-device was published in July 2024. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is AFM-on-device used for?
AFM-on-device works in Language, and is recorded as handling language modeling/generation. Models frequently carry more than one of each, and the tags describe purpose rather than capability limits.
How much compute was used to train AFM-on-device?
Around 4.5 × 10²³ FLOP, on Google TPU v5p. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
De andere richting
Vanuit het andere perspectief bekijken?
Deze pagina begint bij het model. Als u al een kaart bezit en alles wilt weten wat het zal uitvoeren, Begin liever bij de hardware.