GEITje 7B

Table of Contents

Model Overview

The GEITje-7B model is a powerful tool for understanding and generating Dutch text. With 7 billion parameters and training on 10 billion tokens of Dutch text, it has become a highly skilled language model.

Tasks and rank

Text Generation 483rd

Natural Language Understanding 395th

Language Modelling 401st

Learn More About the Ranking System

Capabilities

What can it do?

• Understand Dutch text: It can comprehend and analyze Dutch text with high accuracy.
• Generate Dutch text: The model can create coherent and natural-sounding Dutch text based on a given prompt or topic.
• Answer questions: It can respond to questions on a wide range of topics, from general knowledge to specific domains.

How does it compare to other models?

• Outperforms Llama 2 13B: According to the creators, its base model, Mistral 7B, performs better than Llama 2 13B on all English-language benchmarks tested.
• Unique features: It has a context length of 8,192 tokens, allowing it to process and understand longer pieces of text.

Training and Performance

Training Procedure

The model was trained using the following hyperparameters:

Hyperparameter	Value
Learning Rate	2e-05
Train Batch Size	2
Eval Batch Size	2
Seed	42
Distributed Type	multi-GPU
Num Devices	8
Gradient Accumulation Steps	8
Total Train Batch Size	128
Total Eval Batch Size	16
Optimizer	Adam with betas=(0.9,0.999) and epsilon=1e-08
LR Scheduler Type	cosine
LR Scheduler Warmup Steps	953
Training Steps	9536

Training Results

The training results are shown in the table below:

Epoch	Step	Validation Loss
1	199	1.7673
2	398	1.6880
3	597	1.6429
…	…	…

Note that the training loss decreases over time, indicating that the model is learning and improving its performance on the validation set.

Alternatives

NeMo SFT with Llama 2 10500 Fine-tuned language model

Bert Base Uncased 1831 Uncased BERT model

Roberta Base 399 Masked language model

Limitations

While the model is powerful, it’s not perfect. Let’s explore some of its limitations.

Language Limitations

• It may struggle with:
  • Idioms and colloquialisms
  • Sarcasm and humor
  • Highly technical or specialized language
• It’s not perfect in understanding:
  • Nuances of human language
  • Context-dependent expressions
  • Subtle differences in meaning

Technical Limitations

• It has a context length of 8,192 tokens, which means it can process a limited amount of text at a time. This can lead to:
  • Incomplete or inaccurate responses for very long inputs
  • Difficulty in understanding complex, multi-step conversations

Format and Usage

Supported Data Formats

• Text: The model accepts input in the form of text sequences. You can feed it a sentence, a paragraph, or even a whole article.
• Tokens: The model uses a tokenizer to split the input text into individual tokens. These tokens are then used to generate the output.

Input Requirements

• Context Length: The model has a context length of 8,192 tokens. This means it can handle input sequences of up to 8,192 tokens.
• Batch Size: The model uses a batch size of 2 during training. This means it processes 2 input sequences at a time.

Output Format

• Text: The model generates output in the form of text sequences.
• Tokenized Output: The output is tokenized, meaning it’s split into individual tokens.

Examples

Schrijf een kort verhaal over een hond die verdwaald is in het bos. In het bos liep een hond rond, op zoek naar zijn baasje. Hij had zich losgerukt uit zijn riem en nu wist hij niet meer de weg terug naar huis. De hond snuffelde aan de bomen en luisterde naar de geluiden van het bos, maar hij kon niets vinden dat hem naar zijn baasje leidde. Hij begon te blaffen, maar er kwam geen antwoord. De hond was bang en alleen, maar hij gaf niet op. Hij liep verder en snuffelde aan elke boom, totdat hij eindelijk een bekend geurtje rook. Hij volgde het geurtje en vond zijn baasje, die hem in haar armen sloot en hem naar huis bracht.

Vertel me iets over de geschiedenis van Nederland. Nederland heeft een rijke geschiedenis die teruggaat tot de Romeinse tijd. In de Middeleeuwen was Nederland een belangrijk handelscentrum en in de 17e eeuw was het een van de belangrijkste zeemachten ter wereld. Tijdens de Nederlandse Gouden Eeuw werden veel beroemde schilders als Rembrandt en Vermeer geboren. In de 20e eeuw heeft Nederland een belangrijke rol gespeeld in de Europese integratie en is het lid geworden van de Europese Unie.

Wat is het verschil tussen een hond en een kat? Een hond en een kat zijn twee heel verschillende dieren. Honden zijn sociale dieren die graag in groepen leven en vaak erg actief zijn. Ze zijn ook erg trouw aan hun baasjes en kunnen worden getraind om allerlei dingen te doen. Katten daarentegen zijn meer alleenstaande dieren die graag hun eigen gang gaan. Ze zijn ook meer onafhankelijk en hebben niet zo veel aandacht nodig als honden.

Example Use Cases

• Language translation: The model can be used to translate Dutch text into other languages or vice versa.
• Text summarization: The model can summarize long pieces of Dutch text into concise and meaningful summaries.
• Chatbots: The model can be integrated into chatbots to provide more accurate and informative responses to user queries.

Overall, the GEITje-7B model is a powerful tool for anyone working with Dutch text, offering a range of capabilities and features that make it an attractive choice for various applications.