Gemma-AIGemm-AI,也称为Gemma,是一款基于Gemini研究和技术的开源AI模型。Gemma模型是一个轻量级的、最先进的模型家族,它们在语言理解、推理和安全性方面的学术基准测试中表现出色。Gemma模型有两种大小(20亿和70亿参数),并提供预训练和微调的检查点。在18个基于文本的任务中,Gemma在11个任务上胜过了类似大小的开源模型。此外,该论文还详细描述了模型开发,并对模型的安全性和责任方面进行了全面评估 2 。
Gemma也被描述为一个AI设计助手 1 。不过,由于无法访问Hugging Face网站的相关页面,我无法提供更多关于Gemma作为设计助手的详细信息。不过,从已有的信息来看,Gemma似乎是一个多功能的AI工具,既适用于学术研究,也可能有实际应用,如设计辅助。
Gemma是什么?
Gemma是谷歌最新发布的一款轻量级开放模型,它采用了与创建Gemini模型相同的研究和技术,是一个小尺寸的大语言模型。Gemma是由Google DeepMind和Google其他团队合作开发的,并用拉丁语中意为“宝石”的gemma为其命名。
Gemma共有两个版本:Gemma 2B(20亿参数)和Gemma 7B(70亿参数),每种规模都提供了预训练和指令微调版本。这些模型尺寸相对较小,应用成本也更低,适合各种规模的组织(无论规模大小)进行商用和分发。未来,Gemma这个系列还会发布更大尺寸的模型。
在训练数据上,Gemma主要在大量英文文本数据上进行训练的,这些数据主要来源于网络文档、数学和代码。具体来说,Gemma2B模型训练了大约2万亿(2T)个token,而Gemma7B模型则训练了大约6万亿(6T)个token。
不过,Gemma没有接受过处理图像或视频等非文本数据的训练,也没有专门针对多语言任务进行优化。
为了方便开发者,谷歌不仅开源模型,还附带开发套装,包括全新的“负责任生成式AI工具包”,为基于Gemma开发安全的人工智能应用程序提供了必要指导和工具,以及跨主流框架(如JAX、PyTorch及原生Keras 3.0下的TensorFlow)的推理和监督微调(SFT)工具链。
各种设备也已经适配好。谷歌已经基于英伟达的GPUs和谷歌云TPUs等多个AI硬件平台,对Gemma进行优化,让模型可以直接在笔记本电脑或台式机上运行。
为了方便开发者,谷歌不仅开源模型,还附带开发套装,包括全新的“负责任生成式AI工具包”,为基于Gemma开发安全的人工智能应用程序提供了必要指导和工具,以及跨主流框架(如JAX、PyTorch及原生Keras 3.0下的TensorFlow)的推理和监督微调(SFT)工具链。
各种设备也已经适配好。谷歌已经基于英伟达的GPUs和谷歌云TPUs等多个AI硬件平台,对Gemma进行优化,让模型可以直接在笔记本电脑或台式机上运行。
主要特点:
1.模型大小:
Gemma提供了两种大小的模型权重,分别是Gemma 2B和Gemma7B,每种大小都有预训练和指令调整(instruction-tuned)的变体。
2.负责任的生成AI工具包:
Google发布了一个新的工具包,提供指导和必要工具,帮助开发者使用Gemma创建更安全的AI应用。
3.工具链支持:
Gemma模型支持在所有主要框架(JAX、PyTorch和TensorFlow通过原生Keras 3.0)上进行推理和监督式微调(SFT)。
4.易用性:
提供了预制的Colab和Kaggle笔记本,以及与Hugging Face MaxText、NVIDIA NeMo TensorRT-LLM等流行工具的集成,使得开始使用Gemma变得容易。预训练和指令调整的Gemma模型可以在笔记本电脑、工作站或Google Cloud上运行,并且可以轻松部署在VertexAl和Google Kubernetes Engine (GKE)上。
5.性能优化:
Gemma模型在多个AI硬件平台上进行了优化,包括NVIDIA GPU和Google Cloud TPUs,确保了行业领先的性能。
6.负责任的设计:
Gemma在设计时遵循了Google的AI原则。为了确保预训练模型的安全和可靠性,Google使用了自动化技术从训练集中过滤掉某些个人信息和其他敏感数据。此外,通过人类反馈的强化学习(RLHF)对指令调整模型进行了广泛的微调,以确保模型行为的负责任性。Google还进行了包括手动红队测试、自动化对抗性测试和模型能力评估在内的严格评估。
7.跨框架、工具和硬件优化:
Gemma模型可以在多种工具和系统上进行微调,以适应特定应用需求,如摘要或检索增强生成(RAG)。Gemma支持多种工具和系统,包括跨设备兼容性和与NVIDIA GPU的优化。
8.免费资源
为了支持开发者和研究人员,Google提供了Kaggle的免费访问、Colab笔记本的免费层级,以及首次使用Google Cloud的300美元信用额度。研究人员还可以申请高达50万美元的Google Cloud信用额度以加速他们的项目。
Gemma官网入口:https://ai.google.dev/gemma
数据统计
相关导航
暂无评论...