Великі технологічні компанії в останні кілька років активно працювали над створенням дедалі більших моделей штучного інтелекту, використовуючи велику кількість дорогих графічних процесорів для надання генеративного ШІ у формі хмарного сервісу. Однак малі моделі ШІ також мають велике значення. Google оголосила про випуск компактної версії своєї відкритої моделі Gemma, призначеної для роботи на локальних пристроях. Компанія стверджує, що новий Gemma 3 270M можна швидко налаштувати, і він демонструє хорошу продуктивність, незважаючи на компактний розмір.
Раніше цього року Google представила свої перші відкриті моделі Gemma 3, які мають від 1 до 27 мільярдів параметрів. У генеративному ШІ параметри — це навчальні змінні, які контролюють, як модель обробляє вхідні дані для прогнозування виходу. Зазвичай, чим більше параметрів у моделі, тим краще вона працює. Нова модель Gemma 3 має лише 270 мільйонів параметрів, що дозволяє їй працювати на таких пристроях, як смартфони, або навіть повністю у веб-браузері.
Локальне виконання моделі ШІ має численні переваги, включаючи підвищену конфіденційність і нижчу затримку. Gemma 3 270M була розроблена з урахуванням цих сценаріїв використання. У тестуванні на Pixel 9 Pro новий Gemma зміг провести 25 бесід на чіпі Tensor G4, використавши лише 0,75% заряду батареї пристрою. Це робить його найбільш енергоефективною моделлю з усіх моделей Gemma.
Gemma 3 270M демонструє високу здатність до виконання інструкцій для свого невеликого розміру.
Кредит: Google
Розробники не повинні сподіватися на той же рівень продуктивності, що й у моделей з мільярдами параметрів, але Gemma 3 270M має свою корисність. Google використовувала бенчмарк IFEval, який тестує здатність моделі виконувати інструкції, щоб продемонструвати, що її нова модель перевершує своїх конкурентів. Gemma 3 270M показала результат 51,2% у цьому тесті, що більше, ніж у інших легких моделей зі значнішою кількістю параметрів. Хоча новинка, як і очікувалося, не досягає рівня моделей з понад мільярдним обсягом параметрів, таких як Llama 3.2, вона все ж наближається до них більше, ніж можна було б припустити, маючи лише невелику частину параметрів.