Taobao MNN Ekibinden Şov: 0.3B'lik Cep Modeli iPhone 18 Pro'da Çevrimdışı Saniyede 350 Token Bastı

Telefon Uygulamaları İçin Gerçek 'Cihaz İçi Yerel Zeka' Çağı

Büyük dil modellerinin yüz milyarlarca parametreye ulaşarak devasa bulut sunucularına hapsolduğu bir dönemde, Alibaba bünyesindeki Taobao MNN mobil yapay zeka ekibi uç bilişimde ezber bozan bir başarıya imza attı. Ekip, akıllı telefonların sınırlı belleği ve pil ömrü için sıfırdan tasarlanan 300 milyon parametreli MNN-Pocket-0.3B hafif dil modelini GitHub üzerinde açık kaynak lisansıyla tüm dünyaya sundu.

Model, bulut sunucularına hiçbir internet bağlantısı gerektirmeden, doğrudan telefonun kendi işlemcisi üzerinde çalışarak metin tamamlama, komut takibi ve görsel programlama görevlerini yerine getiriyor.

"MNN-Pocket-0.3B, Apple iPhone 18 Pro üzerinde yapılan gerçek cihaz testlerinde, MNN motoruyla tamamen çevrimdışı (offline) olarak saniyede ortalama 350 tokenlik (tokens/sec) baş döndürücü bir üretim hızına ulaştı."

Dört Boyutlu Mobil Mühendislik Şaheseri

Taobao ekibi, mobil uygulamaların içinde şişkinlik yaratmayacak bir model için dört temel tasarım kuralını kusursuz uyguladı:

Kırpılmış Sözlük ve 8B Modellerle Yarışan Zeka

Ekip, modelin boyutunu küçültmek için Qwen3分词 (tokenization) kütüphanesini 151 binden 64 bine indirerek Türkçe ve Batı dilleri yerine Çince ve İngilizceye odaklandı. 11 farklı akademik kıyaslama testinde model, IFEval komut takibinde 74,59 puan alarak kendisinden katbekat büyük MiniCPM4-0.5B ve Qwen3-0.6B modellerini geride bıraktı.

Model; Base, SFT, MNN ve DFlash2 hızlandırılmış spekülatif versiyonlarıyla HuggingFace ve GitHub üzerinden yazılımcıların kullanımına açıldı.