Gemini 1.5 Pro: Complete Benchmark Performance Guide

google 1.5-pro 2024-02-15 Proprietary

In-depth analysis of Gemini 1.5 Pro performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendorgoogle
Version1.5-pro
Release Date2024-02-15
Context Window2e+06 tokens
Input Modalitiestext, image, audio, video
Output Modalitiestext
LicenseProprietary
Documentationhttps://ai.google.dev/gemini-api/docs

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU85.9%2024-02-155-shotview
HUMANEVAL71.9pass@12024-02-15—view
GSM8K91.7%2024-02-150-shot CoTview
MATH58.5%2024-02-150-shot CoTview
BBH84%2024-02-153-shot CoTview

Pricing

TierPriceCurrency
Input$1.25 / MtokUSD
Output$5 / MtokUSD
Cache Read$0.3125 / MtokUSD
Cache Write$1.25 / MtokUSD

Source: https://ai.google.dev/pricing · as of 2024-08-01

Compliance

  • Data Residency: US
  • SOC2: ✓
  • HIPAA: ✗
  • GDPR: ✓
  • ISO 27001: ✓

Gemini 1.5 Pro

Aperçu du modèle

Google DeepMind Gemini 1.5 Pro 模型，2M 上下文窗口（业界领先），支持文本、图像、音频、视频多模态输入，长文档理解能力突出。

Spécifications principales

FournisseurVersionDate de sortieFenêtre de contexteModalités d’entréeModalités de sortieLicence
Google1.5-pro2024-02-152000Ktext, image, audio, videotextProprietary

Performance aux benchmarks

BenchmarkScoreUnitéNotes
MMLU (Massive Multitask Language Understanding)85.9%5-shot
HumanEval71.9pass@1—
GSM8K (Grade School Math 8K)91.7%0-shot CoT
MATH58.5%0-shot CoT
BBH (BIG-Bench Hard)84.0%3-shot CoT

Tarification

EntréeSortieLecture cacheÉcriture cache
————

par million de jetons

Forces

  • MMLU score 85.9, strong knowledge reasoning.
  • GSM8K 91.7, robust math reasoning.
  • 支持文本、图像、音频多模态输入。
  • 上下文窗口 2000K，支持长文本。

Faiblesses

  • 闭源专有模型，不支持自托管。

Cas d’usage

  • 代码生成与调试
  • 长文档摘要
  • 视觉与图像理解
  • Agent 工作流与工具调用

Références