İki Mac mini M4 ile Qwen3.8-27B: Çalışıyor; peki sürdürülebilir mi?

İki ayrı 16 GB node, tek bir 32 GB makine değildir.

Deneyin başlangıç sorusu basitti: Tek bir bilgisayara sığmayan 27B sınıfı bir modeli iki Apple Silicon cihazın belleğini kullanarak çalıştırabilir miyiz?

Cevap evet; fakat iki Mac’in belleği işletim sistemi açısından tek bir 32 GB unified memory havuzuna dönüşmüyor. Her node kendi 16 GB belleğine, GPU’suna, işletim sistemine ve runtime’ına sahip. EXO’nun yaptığı fiziksel belleği birleştirmek değil, modelin katmanlarını node’lara bölmek.

Test sistemi: iki base M4, EXO ve MLX Ring.

Her iki cihaz da 10 çekirdek CPU, 10 çekirdek GPU, 16 GB unified memory ve 256 GB SSD içeren base Mac mini M4’tü. Model olarak mlx-community/Qwen3.8-27B-4bit, dağıtım için EXO + MLX kullanıldı.

EXO aynı namespace içinde iki node ile başlatıldı. Sharding stratejisi Pipeline, instance ise MLX Ring’di. RDMA kullanılmadı. Test build’ine Qwen3.8 ve hibrit SSM/attention pipeline sharding için hazırlanan açık EXO PR’larındaki düzeltmeler dahil edildi.

• Model: 27B parametre, 64 language-model layer, 4-bit MLX dönüşümü, yaklaşık 16,1 GB paket.
• Qwen3.8 mimarisi: Gated DeltaNet linear-attention ve full-attention katmanlarını birlikte kullanıyor.
• EXO branch: qwen38-m4x2 · test HEAD: df2112a71765ef772b7d2f6bd4dd15225f8c7729.

Thunderbolt darboğazın kolay açıklaması olmadı.

İki Mac’i Wi-Fi veya Ethernet yerine doğrudan Thunderbolt 4 üzerinden bağladık. Ping yaklaşık 0,439 ms RTT, iperf3 ise dört paralel stream ile yaklaşık 37,7 Gbit/s gerçek throughput verdi.

Bu değer teorik 40 Gbit/s sınırının yaklaşık %94’ü. Bu nedenle düşük token hızını kötü kablo veya yavaş bir ağ bağlantısıyla açıklamak mümkün değil. Yerel node belleği ile node’lar arası aktarımın aynı maliyete sahip olmadığı ise değişmiyor: Apple’ın base M4 için belirttiği 120 GB/s local unified-memory bant genişliği ile ölçülen yaklaşık 4,7 GB/s ağ throughput’u farklı ölçekler.

Model gerçekten iki Mac’te çalıştı.

EXO dashboard bazı anlarda Mac 1’i %0 yükte gösterdi. Tek başına bu telemetry görüntüsü modelin yalnızca Mac 2’de çalıştığı izlenimini verebilirdi.

Bunu EXO /state çıktısı, macmon ve cihaz seviyesinde GPU, güç ve sıcaklık gözlemleriyle çapraz kontrol ettik. İki node da modelin farklı shard’larını hesapladı; Mac 2’de bir uzun cevap sırasında yaklaşık %100 GPU kullanımı ve 1578 MHz civarı GPU frekansı gözlendi.

6 tok/s kullanılabilir; akıcı bir agent sistemi değil.

Kısa ve orta uzunluktaki chat testlerinde generation değeri 5,9–6,1 tok/s çevresinde kaldı. Rapor için temsilî sonucu yaklaşık 6,0 tok/s olarak alıyoruz. Model Türkçe cevap, HTML, Python/FastAPI kodu ve uzun çıktılar üretebildi; yani yalnızca belleğe yüklenmiş bir model değil, gerçek inference gerçekleştirdi.

Ancak uzun promptlarda ilk token süresi ayrı bir sorun olarak ortaya çıktı. Bir ağır örnekte TTFT yaklaşık 83 saniyeydi. Prefill, KV cache, pipeline senkronizasyonu ve bellek tahsisleri uzadıkça generation hızı benzer kalsa bile kullanıcı deneyimi belirgin biçimde ağırlaşıyor.

Asıl sınır model dosyasından sonra başlıyor.

İki cihazda tipik RAM kullanımı node başına 12,5–14+ GB seviyesine çıktı. Yaklaşık 1,2 GB swap iki node’da da gözlendi; Mac 1’in daha ağır bir durumunda 2,7–3 GB seviyesine ulaşan anlar oldu.

Unified memory avantajlı çünkü CPU ve GPU aynı fiziksel havuza erişiyor; fakat bu havuz macOS, tarayıcı, EXO, Metal allocations, KV cache ve diğer uygulamalarla paylaşılıyor. Uzun inference sırasında 90°C üzeri sıcaklıklar gördük. Bu tek başına hasar veya thermal throttling kanıtı değildir; ancak sistemin 7/24 agent sunucusu olarak ne kadar ağır bir rejime girdiğini gösterir.

İki node, tek istekte otomatik olarak 2× hız demiyor.

Pipeline sharding’in birincil kazancı kapasite. Aynı tokenın tamamlanması için ilk shard’ın ve ikinci shard’ın kendi katmanlarını bitirmesi gerekiyor; iki Mac iki bağımsız cevap üretmiyor.

Bu yüzden sistemin sonucu “model tek 16 GB node’a sığmadığı halde çalıştı” şeklinde okunmalı. İki node’u bağlamak tek-stream decode hızını iki katına çıkarmadı. Fit, fast ve sustainable üç farklı değerlendirme.

Proof-of-concept başarılı; sürekli kullanım için zayıf.

Bu konfigürasyonu uzun süreli günlük kullanım için önermiyoruz. Model çalışıyor, iki node aktif ve bağlantı sağlıklı; fakat yaklaşık 6 tok/s, yüksek bellek baskısı, swap, uzun promptlarda yüksek TTFT ve 90°C üzeri uzun yük sıcaklıkları bir araya geliyor.

İki Mac’i tek 27B model için pipeline’a bağlamak yerine, iki ayrı küçük/orta modelle iki ayrı işi paralel yürütmek daha verimli olabilir: bir node reasoning veya ana agent, diğer node coding, scraping ya da tool worker. Bu, özellikle agentic sistemlerde toplam throughput’u artırma ihtimali daha yüksek bir mimari.