Pierwsza faza projektu zakładała ekonomiczne wejście — wykorzystanie sprzętu z rynku wtórnego jako bazy do eksperymentowania z lokalnymi LLM.

Platforma LGA1150 z procesorem Intel Core i7-4790 stanowiła rozsądny punkt startowy: cztery rdzenie Haswell z obsługą Hyper-Threading, stabilna platforma DDR3, dostępność używanych komponentów. Dwie karty NVIDIA GeForce RTX 3060 zostały dobrane jako wydajne, dwunastogigabajtowe jednostki zdolne do uruchamiania modeli 7B–14B w pełni z VRAM.

The first phase aimed for cost-effective entry — leveraging second-hand hardware as a base for experimenting with local LLMs.

The LGA1150 platform with an Intel Core i7-4790 was a sensible starting point: four Haswell cores with Hyper-Threading support, stable DDR3 platform, abundant used component availability. Two NVIDIA GeForce RTX 3060 cards were chosen as capable 12 GB units able to run 7B–14B models fully from VRAM.

Migracja na platformę AMD AM4 z zachowaniem obu kart GPU. Nowa płyta główna, procesor i pamięć RAM przy minimalnych kosztach przejścia.

Kluczowym celem fazy 2 było odblokowanie ograniczeń poprzedniej platformy bez wymiany kart graficznych. ASUS PRIME X570-PRO z Ryzenem 7 3700X dostarcza PCIe 4.0, 8 fizycznych rdzeni i obsługę do 128 GB DDR4 — zostawiając duży margines na dalszy rozwój. Jednym z wyzwań fazy był błąd negocjacji PCIe przy dwóch kartach, naprawiony przez aktualizację BIOS do wersji 5044 (AGESA ComboV2PI 1.2.0.Cc).

Migration to AMD AM4 platform while retaining both GPU cards. New motherboard, CPU and RAM at minimal transition cost.

The key goal of phase 2 was to remove the bottlenecks of the previous platform without replacing the graphics cards. ASUS PRIME X570-PRO with Ryzen 7 3700X delivers PCIe 4.0, 8 physical cores and support for up to 128 GB DDR4 — leaving significant room for further development. One challenge was a PCIe negotiation bug with two cards installed, resolved by updating BIOS to version 5044 (AGESA ComboV2PI 1.2.0.Cc).

Przejście z dwóch kart NVIDIA RTX 3060 (2× 12 GB) na jedną kartę AMD Radeon RX 7900 XTX z 24 GB VRAM — eliminując potrzebę multi-GPU span przy zachowaniu tej samej łącznej pojemności VRAM.

Zmiana architektury GPU jest krokiem strategicznym: pojedyncza karta z 24 GB VRAM pozwoli uruchamiać modele 27B–34B bez kosztów komunikacji między kartami. Przejście na ROCm otwiera ekosystem AMD dla lokalnych deploymentów LLM.

Transitioning from two NVIDIA RTX 3060 cards (2× 12 GB) to a single AMD Radeon RX 7900 XTX with 24 GB VRAM — eliminating the need for multi-GPU span while maintaining the same total VRAM capacity.

The GPU architecture change is a strategic move: a single card with 24 GB VRAM will run 27B–34B models without inter-card communication overhead. Moving to ROCm opens the AMD ecosystem for local LLM deployments.

Dodanie drugiej karty AMD Radeon RX 7900 XTX pozwoli osiągnąć 48 GB łącznego VRAM — wystarczającego do uruchamiania modeli 70B w quant Q4 lub modeli 34B w pełnej precyzji.

W odróżnieniu od fazy 1 gdzie dwie karty RTX 3060 musiały spanować modele przez ograniczoną szynę PCIe, dwie karty 7900 XTX pracujące na RDNA3 z ROCm powinny efektywnie współdzielić obciążenie dzięki wyższej przepustowości i lepszemu wsparciu multi-GPU w stosie AMD.

Adding a second AMD Radeon RX 7900 XTX will achieve 48 GB total VRAM — sufficient to run 70B models in Q4 quant or 34B models at full precision.

Unlike phase 1 where two RTX 3060 cards had to span models across a limited PCIe bus, two 7900 XTX cards running RDNA3 with ROCm should efficiently share workload thanks to higher bandwidth and better multi-GPU support in the AMD stack.

Koncepcja docelowej platformy dla projektu — przejście na architekturę klasy workstation z AMD Threadripper PRO, oferującą przepustowość PCIe i pamięci nieosiągalną na platformach konsumenckich.

To wczesna wizja, nie konkretny plan. Decyzja o migracji będzie zależeć od tego, czy platforma AM4 okaże się wystarczająca po fazach 3 i 4, oraz od dostępności i cen sprzętu Threadripper w czasie decyzji.

The concept for the project's ultimate platform — migration to a workstation-class architecture with AMD Threadripper PRO, offering PCIe and memory bandwidth unachievable on consumer platforms.

This is an early vision, not a concrete plan. The migration decision will depend on whether the AM4 platform proves sufficient after phases 3 and 4, and on Threadripper hardware availability and pricing at decision time.