Обсуждение инференса на Apple M5 Ultra и сравнение с RTX PRO 6000: новый Mac Studio, по замыслу автора, уступает почти во всём, но пропускная способность памяти — зона, где Apple остаётся конкурентоспособна.
Для личного использования Mac Studio всё равно заслуживает внимания. Статья объясняет, почему больше памяти не означает быстрее в сценариях prefill и decode при выходе чипа M5 Ultra.