PaLM 2
Keine Schätzung
Keine Hardwareanforderungen für dieses Modell
Die Gewichte für dieses Modell wurden nicht veröffentlicht, sodass es weder heruntergeladen noch auf Ihrer eigenen Hardware in irgendeiner Größe ausgeführt werden kann. Es ist nur über seinen Anbieter zugänglich, und keine Grafikkarte ändert daran etwas.
Aufzeichnung
Vollständige Spezifikation
Alles aufzeichnungsfähig für dieses Modell. Die meisten Informationen beschreiben, wie es trainiert wurde, anstatt wie es läuft — ein nützlicher Kontext, um zu beurteilen, wie viel Arbeit investiert wurde und wie es im Vergleich zu auf einer anderen Skala entwickelten Modellen abschneidet..
Ursprung
Wer hat dieses Modell gebaut, wo und wann es veröffentlicht wurde.
- Organisation
- Organisationstyp
- Industry
- Land
- United States of America
- Veröffentlicht
- 10 May 2023
- Autoren
- Andrew M. Dai, David R. So, Dmitry Lepikhin, Jonathan H. Clark, Maxim Krikun, Melvin Johnson, Nan Du, Rohan Anil, Siamak Shakeri, Xavier Garcia, Yanping Huang, Yi Tay, Yong Cheng, Yonghui Wu, Yuanzhong Xu, Yujing Zhang, Zachary Nado, Bryan Richter, Alex Polozov, Andrew Nystrom, Fangxiaoyu Feng, Hanzhao Lin, Jacob Austin, Jacob Devlin, Kefan Xiao, Orhan Firat, Parker Riley, Steven Zheng, Yuhuai Wu,…
Was es tut
Die Problemfelder, für die das Modell entwickelt wurde. Ein Modell kann mehrere von jedem tragen.
- Domäne
- Language
- Aufgabe
- Language modeling, Language modeling/generation
Größe
Wie groß das Modell ist und wie viele Daten es trainiert wurde. Die Parameter sind die Größe, die entscheidet, ob es auf eine bestimmte Grafikkarte passt.
- Parameter
- 340B
- Trainingsdaten
- 3,600,000,000,000 tokens
Model Architecture: "PaLM-2 is a new state-of-the-art language model. We have small, medium, and large variants that use stacked layers based on the Transformer architecture, with varying parameters depending on model size. Further details of model size and architecture are withheld from external publication." However, the parameter count was leaked to CNBC: https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html
"The pre-training corpus is significantly larger than the corpus used to train PaLM" so greater than 6e+11. According to the leaked documents viewed by CNBC, the corpus was 3.6 trillion tokens or around 2.7*10^12 words. https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html
Training-Computing
Die zur Ausbildung des Modells durchgeführte Arithmetik, gemessen in Gleitkommaoperationen. Es ist ein Maß dafür, was der Trainingslauf gekostet hat, nicht wie schnell das fertige Modell Ihnen antwortet.
- Training-Computing
- 7.3 × 10²⁴ FLOP
- Wie es etabliert wurde
- Operation counting
Compute Requirements "Not reported." Paper suggests heuristic of C=6ND. Based on 340B parameters and 3.6T tokens, training compute would be around 7.3*10^24 FLOP.
Der Trainingslauf
Was physisch notwendig war, um zu trainieren: welche Chips, wie viele, wie lange und was das aus der Steckdose zog.
- Trainingshardware
- Google TPU v4
- Rechenkosten
- $5,014,267
Verfügbarkeit
Ob Sie das Modell erhalten und es auf Ihrer eigenen Hardware ausführen können, entscheidet darüber, ob eine der Grafikkartenfiguren auf dieser Seite zutrifft.
- Gewichte
- Closed — provider access only
- Modellzugang
- API access
- Trainingscode
- Unreleased
Wie es klassifiziert ist
Labels der Quelldatenbank, die beim Verfolgen bemerkenswerter Modelle angewendet werden, und wie zuversichtlich sie in den Eintrag ist.
- Frontier model
- Yes
- Foundation model
- Yes
- Wahrscheinlich über 10²³ FLOP
- Yes
- Warum es nachverfolgt wird
- SOTA improvement,Training cost,Significant use,Highly cited
- Aufzeichnungszuversicht
- Likely
- Zitationen
- 1,734
Significant use: Gmail and Google Docs have millions of users. SOTA performance: Table 5 "At I/O today, we announced over 25 new products and features powered by PaLM 2. That means that PaLM 2 is bringing the latest in advanced AI capabilities directly into our products and to people — including consumers, developers, and enterprises of all sizes around the world. Here are some examples: PaLM 2’s improved multilingual capabilities are allowing us to expand Bard to new languages, starting today. …
Quellen
Woher diese Aufzeichnung stammt und wann sie zuletzt überprüft wurde.
- Referenz
- PaLM 2 Technical Report
- Zuletzt aktualisiert
- 18 December 2025
Was die Zahlen bedeuten
Was dieses Modell ist
PaLM 2 was published by Google, in United States of America, in May 2023. The organisation is categorised as industry.
It works in Language, and is recorded as doing language modeling, Language modeling/generation.
Seine Gewichte wurden nie veröffentlicht, daher kann es nur über seinen Anbieter erreicht werden. Keine Grafikkarte ändert das.
Wie es trainiert wurde
The training run consumed about 7.3 × 10²⁴ FLOP, on Google TPU v4. That figure describes the cost of creating it and has no bearing on how quickly it generates text.
The training set ran to roughly 3,600,000,000,000 tokens.
It is tracked in the underlying dataset for one reason in particular: sOTA improvement,Training cost,Significant use,Highly cited.
Antworten
PaLM 2 — Häufig gestellte Fragen
Who created PaLM 2?
PaLM 2 was published by Google, based in United States of America, categorised as industry.
When was PaLM 2 released?
PaLM 2 was published in May 2023. Capability per parameter has improved considerably since, so a newer model of the same size is often the better use of the same hardware.
What is PaLM 2 used for?
PaLM 2 works in Language, and is recorded as handling language modeling, Language modeling/generation. Models frequently carry more than one of each, and the tags describe purpose rather than capability limits.
How much compute was used to train PaLM 2?
Around 7.3 × 10²⁴ FLOP, on Google TPU v4. That measures what producing the model cost and says nothing about how quickly it answers once trained — inference speed comes from memory bandwidth, not from the training budget.
What GPU do I need to run PaLM 2?
None. PaLM 2 is a closed model — its weights were never published, so it cannot be downloaded or run on your own hardware at any price. It is reachable only through its provider.
Is PaLM 2 open source?
No. PaLM 2 has not had its weights published, so it exists only as a service controlled by its owner.
How many parameters does PaLM 2 have?
PaLM 2 has 340B parameters. Model Architecture: "PaLM-2 is a new state-of-the-art language model. We have small, medium, and large variants that use stacked layers based on the Transformer architecture, with varying parameters depending on model size. Further details of model size and architecture are withheld from external publication." However, the parameter count was leaked to CNBC: https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html. That figure is the total, and it is what decides how much memory the model needs — roughly half a gigabyte per billion at the compression most people use.
Die andere Richtung
Wenn Sie es von der anderen Seite betrachten?
Diese Seite beginnt beim Modell. Wenn Sie bereits eine Karte besitzen und alles erfahren möchten, was es ausführen kann, Beginnen Sie stattdessen mit der Hardware.