GemmaśėĮšĽÄšĻą

GemmaśėĮÁĒĪŤį∑ś≠ĆDeepMindŚíĆŤį∑ś≠ĆÁöĄŚÖ∂šĽĖŚõĘťėüŚľÄŚŹĎÁöĄšłÄÁ≥ĽŚąóŤĹĽťáŹÁļß„ÄĀŚÖąŤŅõÁöĄŚľÄśĒĺAIś®°ŚěčԾƌüļšļéšłéGeminiś®°ŚěčÁõłŚźĆÁöĄśäÄśúĮԾƜó®Śú®ŚłģŚä©ŚľÄŚŹĎŤÄÖŚíĆÁ†ĒÁ©∂šļļŚĎėśěĄŚĽļŤīüŤī£šĽĽÁöĄAIŚļĒÁĒ®„ÄāGemmaś®°ŚěčÁ≥ĽŚąóŚĆ֜訚ł§ÁßćśĚÉťáćŤßĄś®°ÁöĄś®°ŚěčÔľöGemma 2B ŚíĆ Gemma 7BԾƜŹźšĺõťĘĄŤģ≠ÁĽÉŚíĆśĆᚼ§ŚĺģŤįÉÁČąśú¨ÔľĆśĒĮśĆĀŚ§öÁßćś°Üśě∂Ծƌ¶āJAX„ÄĀPyTorchŚíĆTensorFlowԾƚĽ•Śú®šłćŚźĆŤģ匧ᚳäťęėśēąŤŅźŤ°Ć„Äā6śúą28śó•ÔľĆÁ¨¨šļĆšĽ£ś®°ŚěčGemma 2Ś∑≤ŚŹĎŚłÉ„Äā

GemmaÁöĄŚģėśĖĻŚÖ•ŚŹ£

• GemmaÁöĄŚģėÁĹĎšłĽť°ĶÔľöhttps://ai.google.dev/gemma?hl=zh-cn
• GemmaÁöĄHugging Faceś®°ŚěčÔľöhttps://huggingface.co/models?search=google/gemma
• GemmaÁöĄKaggleś®°ŚěčŚúįŚĚÄÔľöhttps://www.kaggle.com/models/google/gemma/code/
• GemmaÁöĄśäÄśúĮśä•ŚĎäÔľöhttps://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf
• ŚģėśĖĻPyTorchŚģěÁéįGitHubšĽ£Á†ĀŚļďÔľöhttps://github.com/google/gemma_pytorch
• GemmaÁöĄGoogle ColabŤŅźŤ°ĆŚúįŚĚÄÔľöhttps://colab.research.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/lora_tuning.ipynb

GemmaÁöĄšłĽŤ¶ĀÁČĻśÄß

• ŤĹĽťáŹÁļßśě∂śěĄÔľöGemmaś®°ŚěčŤģĺŤģ°šłļŤĹĽťáŹÁļßԾƚĺŅšļéŚú®Ś§öÁßćŤģ°ÁģóÁéĮŚĘÉšł≠ŤŅźŤ°ĆԾƌĆ֜訚ł™šļļÁĒĶŤĄĎŚíĆŚ∑•šĹúÁęô„Äā
• ŚľÄśĒĺś®°ŚěčÔľöGemmaś®°ŚěčÁöĄśĚÉťáćśėĮŚľÄśĒĺÁöĄÔľĆŚÖĀŤģłÁĒ®śą∑Śú®ťĀĶŚģąŤģłŚŹĮŚćŹŤģģÁöĄśÉÖŚÜĶšłčŤŅõŤ°ĆŚēÜšłöšĹŅÁĒ®ŚíĆŚąÜŚŹĎ„Äā
• ťĘĄŤģ≠ÁĽÉšłéśĆᚼ§ŚĺģŤįÉÔľöśŹźšĺõťĘĄŤģ≠ÁĽÉś®°ŚěčŚíĆÁĽŹŤŅáśĆᚼ§ŚĺģŤįÉÁöĄÁČąśú¨ÔľĆŚźéŤÄÖťÄöŤŅášļļÁĪĽŚŹćť¶ąŚľļŚĆĖŚ≠¶šĻ†ÔľąRLHFԾȜ̕Á°ģšŅĚś®°Śě荰ƚłļÁöĄŤīüŤī£šĽĽśÄß„Äā
• Ś§öś°Üśě∂śĒĮśĆĀÔľöGemmaśĒĮśĆĀJAX„ÄĀPyTorchŚíĆTensorFlowÁ≠ČšłĽŤ¶ĀAIś°Üśě∂ԾƝÄöŤŅáKeras 3.0śŹźšĺõŚ∑•ŚÖ∑ťďĺÔľĆÁģÄŚĆĖšļÜśé®ÁźÜŚíĆÁõĎÁĚ£ŚĺģŤįÉÔľąSFTԾȍŅáÁ®č„Äā
• ŚģČŚÖ®śÄßšłéŚŹĮťĚ†śÄßÔľöŚú®ŤģĺŤģ°śó∂ÔľĆGemmaťĀĶŚĺ™GoogleÁöĄAIŚéüŚąôԾƚĹŅÁĒ®Ťá™Śä®ŚĆĖśäÄśúĮŤŅ᜼§Ťģ≠ÁĽÉśēįśćģšł≠ÁöĄśēŹśĄüšŅ°śĀĮԾƌĻ∂ŤŅõŤ°ĆšļÜšłÄÁ≥ĽŚąóŚģČŚÖ®ŤĮĄšľįԾƌĆÖśč¨ÁļĘťėüśĶčŤĮēŚíĆŚĮĻśäóśÄßśĶčŤĮē„Äā
• śÄߍÉĹšľėŚĆĖÔľöGemmaś®°ŚěčťíąŚĮĻNVIDIA GPUŚíĆGoogle Cloud TPUsÁ≠ČÁ°¨šĽ∂ŚĻ≥ŚŹįŤŅõŤ°ĆšļÜšľėŚĆĖÔľĆÁ°ģšŅĚŚú®šłćŚźĆŤģ匧ᚳäťÉĹŤÉĹŚģěÁéįťęėśÄߍÉĹ„Äā
• Á§ĺŚĆļśĒĮśĆĀÔľöGoogleśŹźšĺõšļÜKaggle„ÄĀColabÁ≠ČŚĻ≥ŚŹįÁöĄŚÖćŤīĻŤĶĄśļźÔľĆšĽ•ŚŹäGoogle CloudÁöĄÁßĮŚąÜԾƝľďŚäĪŚľÄŚŹĎŤÄÖŚíĆÁ†ĒÁ©∂šļļŚĎėŚą©ÁĒ®GemmaŤŅõŤ°ĆŚąõśĖįŚíĆÁ†ĒÁ©∂„Äā
• Ť∑®ŚĻ≥ŚŹįŚÖľŚģĻśÄßÔľöGemmaś®°Śě茏ĮšĽ•Śú®Ś§öÁßćŤģ匧ᚳäŤŅźŤ°ĆԾƌĆÖśč¨Á¨ĒŤģįśú¨ÁĒĶŤĄĎ„ÄĀŚŹįŚľŹśúļ„ÄĀÁČ©ŤĀĒÁĹĎŤģ匧áŚíĆšļĎÁęĮԾƜĒĮśĆĀŚĻŅś≥õÁöĄAIŚäüŤÉĹ„Äā
• ŤīüŤī£šĽĽÁöĄAIŚ∑•ŚÖ∑ŚĆÖÔľöGoogleŤŅėŚŹĎŚłÉšļÜResponsible Generative AI ToolkitԾƌłģŚä©ŚľÄŚŹĎŤÄ֜쥌ĽļŚģČŚÖ®ŚíĆŤīüŤī£šĽĽÁöĄAIŚļĒÁĒ®ÔľĆŚĆ֜訌ģČŚÖ®ŚąÜÁĪĽŚô®„ÄĀŤįÉŤĮēŚ∑•ŚÖ∑ŚíĆŚļĒÁĒ®śĆáŚćó„Äā

GemmaÁöĄśäÄśúĮŤ¶ĀÁāĻ

• ś®°Śěčśě∂śěĄÔľöGemmaŚüļšļéTransformerŤß£Á†ĀŚô®śěĄŚĽļԾƍŅôśėĮŚĹďŚČćŤá™ÁĄ∂ŤĮ≠Ť®ÄŚ§ĄÁźÜÔľąNLPԾȝĘÜŚüüśúÄŚÖąŤŅõÁöĄś®°Śěčśě∂śěĄšĻ蚳ĄÄāťááÁĒ®šļÜŚ§öŚ§īś≥®śĄŹŚäõśúļŚą∂ԾƌÖĀŤģłś®°ŚěčŚú®Ś§ĄÁźÜśĖáśú¨śó∂ŚźĆśó∂ŚÖ≥ś≥®Ś§öšł™ťÉ®ŚąÜ„Äāś≠§Ś§ĖÔľĆGemmaŤŅėšĹŅÁĒ®šļÜśóčŤĹ¨šĹćÁĹģŚĶĆŚÖ•ÔľąRoPEԾȜ̕šĽ£śõŅÁĽĚŚĮĻšĹćÁĹģŚĶƌ֕ԾƚĽ•ŚáŹŚįĎś®°Śě茧ߌįŹŚĻ∂śŹźťęėśēąÁéá„ÄāGeGLUśŅÄśīĽŚáĹśēįŚŹĖšĽ£šļÜś†áŚáÜÁöĄReLUťĚěÁļŅśÄßśŅÄśīĽÔľĆšĽ•ŚŹäŚú®śĮŹšł™TransformerŚ≠źŚĪāÁöĄŤĺďŚÖ•ŚíĆŤĺďŚáļťÉĹŤŅõŤ°ĆšļÜŚĹ횳ČĆĖŚ§ĄÁźÜ„Äā
• Ťģ≠ÁĽÉŚüļÁ°ÄŤģĺśĖĹÔľöGemmaś®°ŚěčŚú®GoogleÁöĄTPUv5ešłäŤŅõŤ°ĆŤģ≠ÁĽÉԾƍŅôśėĮšłÄÁßćšłďšłļśúļŚô®Ś≠¶šĻ†ŤģĺŤģ°ÁöĄťęėśÄߍÉĹŤģ°ÁģóŚĻ≥ŚŹį„ÄāťÄöŤŅáŚú®Ś§öšł™PodÔľąŤäĮÁČáťõÜÁĺ§ÔľČšłäŤŅõŤ°Ćś®°Śě茹ÜÁČáŚíĆśēįśćģŚ§ćŚą∂ÔľĆGemmaŤÉĹŚ§üťęėśēąŚúįŚą©ÁĒ®ŚąÜŚłÉŚľŹŤģ°ÁģóŤĶĄśļź„Äā
• ťĘĄŤģ≠ÁĽÉśēįśćģÔľöGemmaś®°ŚěčŚú®Ś§ßťáŹŤčĪŤĮ≠śēįśćģšłäŤŅõŤ°ĆťĘĄŤģ≠ÁĽÉÔľą2Bś®°Śě茧ßÁļ¶2šłášļŅšł™tokenÁöĄśēįśćģšłäťĘĄŤģ≠ÁĽÉԾƍÄĆ7Bś®°Śě茹ôŚüļšļé6šłášļŅšł™tokenÔľČԾƍŅôšļõśēįśćģšłĽŤ¶ĀśĚ•Ťá™ÁĹĎÁĽúśĖáś°£„ÄĀśēįŚ≠¶ŚíĆšĽ£Á†Ā„ÄāťĘĄŤģ≠ÁĽÉśēįśćģÁĽŹŤŅáŤŅ᜼§ÔľĆšĽ•ŚáŹŚįĎšłćśÉ≥Ť¶ĀśąĖšłćŚģČŚÖ®ÁöĄŚÜÖŚģĻԾƌźĆśó∂Á°ģšŅĚśēįśćģÁöĄŚ§öś†∑śÄߌíĆŤī®ťáŹ„Äā
• ŚĺģŤįÉÁ≠ĖÁē•ÔľöGemmaś®°ŚěčťÄöŤŅáÁõĎÁĚ£ŚľŹŚĺģŤįÉÔľąSFTԾȌíĆŚüļšļéšļļÁĪĽŚŹćť¶ąÁöĄŚľļŚĆĖŚ≠¶šĻ†ÔľąRLHFԾȍŅõŤ°ĆŚĺģŤįÉ„ÄāŤŅôŚĆ֜訚ĹŅÁĒ®ŚźąśąźÁöĄśĖáśú¨ŚĮĻŚíĆšļļÁĪĽÁĒüśąźÁöĄśŹźÁ§ļŚďćŚļĒŚĮĻԾƚĽ•ŚŹäŚüļšļéšļļÁĪĽŚĀŹŚ•ĹśēįśćģŤģ≠ÁĽÉÁöĄŚ•ĖŚäĪś®°Śěč„Äā
• ŚģČŚÖ®śÄߌíĆŤī£šĽĽÔľöGemmaŚú®ŤģĺŤģ°śó∂ŤÄÉŤôĎšļÜś®°ŚěčÁöĄŚģČŚÖ®śÄߌíĆŤī£šĽĽÔľĆŚĆ֜訌ú®ťĘĄŤģ≠ÁĽÉťė∂śģĶŚĮĻśēįśćģŤŅõŤ°ĆŤŅ᜼§ÔľĆšĽ•ŚáŹŚįĎśēŹśĄüšŅ°śĀĮŚíĆśúČŚģ≥ŚÜÖŚģĻÁöĄť£éťô©„Äāś≠§Ś§ĖÔľĆGemmaŤŅėťÄöŤŅášļÜšłÄÁ≥ĽŚąóÁöĄŚģČŚÖ®śÄߍĮĄšľįԾƌĆ֜訍ᙌ䮌ĆĖŚüļŚáÜśĶčŤĮēŚíĆšļļÁĪĽŤĮĄšľįԾƚĽ•Á°ģšŅĚś®°ŚěčŚú®ŚģěťôÖŚļĒÁĒ®šł≠ÁöĄŚģČŚÖ®śÄß„Äā
• śÄߍÉĹŤĮĄšľįÔľöGemmaŚú®Ś§öšł™ťĘÜŚüüŤŅõŤ°ĆšļÜŚĻŅś≥õÁöĄśÄߍÉĹŤĮĄšľįԾƌĆ֜訝óģÁ≠Ē„ÄĀŚłłŤĮÜśé®ÁźÜ„ÄĀśēįŚ≠¶ŚíĆÁßĎŚ≠¶ťóģťĘėŤß£Á≠ĒšĽ•ŚŹäÁľĖÁ†ĀšĽĽŚä°„ÄāGemmaś®°Śě蚳錟Ɯ†∑ŤßĄś®°śąĖśõīŚ§ßŤßĄś®°ÁöĄŚľÄśĒĺś®°ŚěčŤŅõŤ°ĆšļÜśÄߍÉĹŚĮĻśĮĒԾƌú®MMLU„ÄĀMBPPÁ≠Č18šł™ŚüļŚáÜśĶčŤĮēšł≠ԾƜúČ11šł™śĶčŤĮēÁĽďśěúŤ∂ÖŤ∂äšļÜLlama-13BśąĖMistral-7BÁ≠Čś®°Śěč„Äā
• ŚľÄśĒĺśÄߌíĆŚŹĮŤģŅťóģśÄßÔľöGemmaś®°Śě蚼•ŚľÄśļźÁöĄŚĹĘŚľŹŚŹĎŚłÉԾƜŹźšĺõšļܝʥŤģ≠ÁĽÉŚíĆŚĺģŤįÉŚźéÁöĄś£Äśü•ÁāĻԾƚĽ•ŚŹäśé®ÁźÜŚíƝɮÁĹ≤ÁöĄŚľÄśļźšĽ£Á†ĀŚļď„ÄāŤŅôšĹŅŚĺóÁ†ĒÁ©∂šļļŚĎėŚíĆŚľÄŚŹĎŤÄÖŤÉĹŚ§üŤģŅťóģŚíĆŚą©ÁĒ®ŤŅôšļõŚÖąŤŅõÁöĄŤĮ≠Ť®Äś®°ŚěčԾƜ鮌ä®AIťĘÜŚüüÁöĄŚąõśĖį„Äā

ŚłłŤßĀťóģťĘė