הקדמה
הצ’אט בוטים נהיו המיינסטרים של המאה, כולנו משתמשים בהם, מחפשים דרכם, ובכללי גם מנהלים שיחות כאילו הם החברים שלנו.
הבעיה היא שאתם מדברים בדרך כלל עם מודל שרץ על ענן - שזה אומר מחשב של מישהו אחר.
אבל, אם תסתכלו על המכשיר שלכם שאתם קוראים את המילים האלו - למה שלא תוכלו לדבר עם בוט גם על המכשיר שלכם?
במיוחד אם יש לכם מחשב גיימינג חזק, ניתן לנצל את כרטיס הגרפיקה שלכם בדיוק למטרה הזו!
אז הנה כמה אלטרנטיבות שיכולים לעזור לכם - ובסוף אציג גם את הסט-אפ הנוכחי שלי.
מה צריך לדעת לפני?
- מודלים במיוחד הרציניים הם כבדים, אתם צריכים חומרה טובה והרבה מקום פנוי בזיכרון.
- רוב המודלים הלוקאליים הם מצומצמים ולא חזקים כמו קלוד וצ’אט הרגילים שאתם מכירים.
- אתם תהיו מוגבלים לתקרת החומרה שלכם.
- צריך לעשות התקנות לפני - אבל למזלכם, רובם די התקנות פשוטות.
הרצת מודלים בדפדפן
קיימים פרויקטים רבים כגון Browser-AI שמריצים בעזרת פריימוורק על גבי Javascript או WebAssembly מודלים לג’נרט.
לדעתי זה משהו שייתפוס תאוצה כי זה זמין וקל.
התוצאה כמובן היא פחות טובה, היא לא צפויה כי אצל כל מכשיר יש חומרה שונה והמודלים הם קטנים לכן לא מכילים את הכל.
הסכנה פה היא הרצת מודל בצורה לא מאובטחת, יכול להיות שאומן להיות זדוני.
מקרה קלאסי הוא כלי איזוטרי שהוא ממליץ להוריד, אתם מורידים בהמלצתו ומסתבר שזה וירוס.
טקסט וקוד
מודלי הצ’אט המוכרים לנו שיודעים לייצר בעיקר טקסט אך עוד דברים במידה ואתם משתמשים בתוכנות שמאפשרות את זה.
ollama
בין הכלים הפופולריים להרצת מודלים.
ההתקנה די בסיסית והשימוש מאוד פשוט.
אני אישית מריץ דרכו qwen3:8b למרות שאפשר להריץ דרכו מודלים יותר רציניים.
גם ollama מאפשרת לכם להריץ כלים דרך המודלים אז שימו לב לזה!
רשימת מודלים:
llama cpp
https://github.com/ggml-org/llama.cpp
https://llama.app/
זה בעצם המנוע מאחורי ollama ומאפשר לכם יותר גמישות בהרצות.
ההתקנה פשוטה אך השימוש בו הרבה יותר מורכב,
אם אתם רוצים להריץ מודלי טקסט עם שימוש בסיסי תקפצו חזרה ל-ollama.
אבל אם אתם רוצים ללמוד יותר לעומק ולהשתמש במודלים בצורה יותר מורכבת, אז לכו על זה!
OpenCode
https://github.com/anomalyco/opencode/
מכירים את הקלוד-קוד?
אז זוהי הקופסה בגרסת הקוד-פתוח!
זה מאפשר להריץ מודלי טקסט וג’נרוט קוד.
מה ההבדל?
שהוא בנוי בצורה טובה יותר לקבל פקודות הרצה כדי לאפשר לו לשלוט בקוד ובכלים.
המלצות חומרה
למתחילים אפשר אפילו להשתמש במעבד המחשב או כרטיסים גרפיים ברמה של RTX 20X0 או RTX 30X0.
נכון - זה לא יהיה סופר חזק ומהיר אבל זה כן ייאפשר לכם להתנסות ואפילו לעבוד עם חלק מהכלים הפשוטים - תחפשו מודלים שהם מאוד מהירים.
הנה כמה המלצות על הכרטיסים של Nvidia:
| GPU | VRAM | רוחב פס | TDP | מחיר משוער |
|---|---|---|---|---|
| RTX 3060 | 12 GB | 360 GB/s | 170W | ₪900–1,100 (משומש) |
| RTX 4060 Ti 16GB | 16 GB | 288 GB/s | 165W | ₪1,600–1,800 |
| RTX 5070 Ti | 16 GB | 896 GB/s | 300W | ₪2,700–3,100 |
| RTX 5080 | 16 GB | 960 GB/s | 360W | ₪3,600–4,000 |
| RTX 3090 | 24 GB | 936 GB/s | 350W | ₪2,500–3,200 (משומש) |
| RTX 4090 | 24 GB | 1,008 GB/s | 450W | ₪5,800–7,200 |
| RTX 5090 | 32 GB | 1,792 GB/s | 575W | ₪7,200–9,000 |
| RTX PRO 6000 | 96 GB | 1,792 GB/s | 600W | ₪29,000+ |
המלצות למודלים
תתעדכנו מהאתר שלהם, אני בכוונה ממליץ על מודלים מאולאמה כדי שיהיה לכם קל להתקין ולהשתמש במודלים!
deepseek-r1
דיפ-סיק אלו מודלים סיניים שכבשו את העולם לכמה זמן, המודלים הם סופר מהירים ובדרך כלל גם קטנים ולכן למה הם מומלצים להרצה לוקאלית.
יש לכם גם את המודל deepseek-coder שבנוי יותר בשביל קוד.
qwen3.8b
מודל ורסטילי שיש לו כמה קונפיגורציות לפרמטרים הגדולות ביניהם זה מעל 200 וצריך הרבה מקום וכרטיס מסך חזק בשביל זה.
אבל אם אתם כמוני ורוצים מודל שיחסית טוב לכמות הזלילה שלו אז אפשר להסתפק במודל עם ה-8 מיליארד פרמטרים.
ממש ממליץ.
glm-4.7-flash
מודל מעולה, שוקל מעט יותר אך מאזן בין ביצועים ליעילות.
תמונות וגרפיקה
מודלים ותוכנות שקשורות לפיתוח תמונות וגרפיקה.
Draw things - MacOS
תוכנה פשוטה לשימוש ליצירת תמונות, מה עוד אפשר לומר?
התוכנה מתאפשרת רק במחשבי מאק.
Invoke - Windows/Linux
יותר מורכב מ-draw things כי הוא מאפשר לכם לחבר מודלים שונים.
זה כן מאפשר לכם להתקין תבניות מוכנות מראש אז לא צריך יותר מדי לשבור את הראש,
אבל גיליתי שצריך להתרגל לשימוש בו.
התוכנה לווינדוס ולינוקס.
ComfyUI
כלי עוצמתי להרצת תהליכים ליצירת תוצרים גרפיים - סרטונים, תמונות, עריכה וכדו’!
ההמלצות שלי
תתקינו את התוכנות Draw things או Invoke ועקבו אחרי ההוראות.
יצירת תמונות בעזרת כלי בינה היא עסק הרבה יותר מורכב מבינה שמייצרת טקסט ויש לתהליך כמה רבדים, לכן חשוב להתחיל עם כלים פשוטים מתבניות קיימות שאתם יכולים להתקין ולהתחיל להשתמש.
Agents
תוכנות מורכבות יותר שמאגדות מודלים או הוראות הכנה מורכבות כדי לבצע משימות מורכבות.
אנחנו קוראים להם - סוכנים.
OpenClaw
תוכנה מפורסמת שיודעת להתנהג באופן אוטונומי, אפשר להתקין אותה על כל מיני מחשבים,
היה פיצוץ לפני חודשים עם שימוש ב-Mac Mini ואפילו נבידיה הוציאה מחשבים שמותאמים להרצת מודלים לוקאלית.
אפל המשיכו עם הדרך והוציאו כמה דגמים של מק-מיני בדיוק למטרות כאלו.
NanoClaw
דומה לאופן-קלוו, גם תוכנה שיודעת להתנהג בצורה אוטונומית.
N8N Agents
באותה קטגוריה, המערכת המוכרת N8N שיודעת להפעיל אייג’נטים.
ChatGPT Dots
https://chatgpt.com/features/dots/
האיג’נט של צ’אט - דוטס.
עובד בצורה אוטונומית בהתאם למה שאתם מגדירים.
לא תוכנה לוקאלית, רק רציתי להזכיר את זה
Claude Cowork
https://claude.com/product/cowork
הקלוד החביב בגרסת סוכן עבודה שיודע להתחבר למערכות ולבצע פעולות.
לא תוכנה לוקאלית, רק רציתי להזכיר את זה
ההמלצות שלי
אם אתם מעוניינים בסוכן חכם שזמין בכל מקום - לכו לענן, גם דוטס וגם קלוד יודעים לעבוד נהדר.
יש הרבה באנדלים כמעט בכל ענן מוכר ליצירת סוכנים, אם אין לכם את הזמן והידע המתאימים אל תנסו לבנות משהו משלכם - זה ייקח הרבה זמן וכל שינוי עוד יותר זמן.
אבל - אם יש לכם את הידע והזמן אני ממליץ לכם להתקין את הכלים האלו לוקאלים, בעזרת כלים כמו OpenShell לתחום אותם, אני אישית מאוד אוהב דוקר לכן אמליץ על זה.
אפשר גם לשלוט לבד ב-VPS שפרוס בענן ולתת לו חשבונות משלו כדי לעסוק במה שלא תרצו.
הסט-אפ הלוקאלי שלי
עד היום הרצתי קלוד עם סקילים וכל מיני כלים שכתבתי.
רציתי להריץ את קלוד בצורה חופשית ללא כל בעיה.
רציתי ליצור מכונה ווירטואלית משלי, ולהרים אותה עם דוקרים אבל זה בלאגן.
אדום זה מה שרץ ברשת,
ירוק זה מה שרץ בתוך סביבה סגורה - עוד על זה בהמשך.
סגול זה מה שרץ על המחשב שלי, כל כלי הפיתוח הרגילים רצים וגם קלוד קוד עם הרשאות מוגבלות.
אני משתמש ב-Taskfile כדי לארגן את כל הפקודות שלי.
יש לי פקודה בשם task sandbox שפותח את הריפו שלי על מיקרו-וי-אמ.
הפקודה משתמשת בכלי שנקרא OpenShell.OpenShell זה כלי מ-Nvidia שיודע להתחבר לווירטואליזציה, והוא מנהל sandbox.
לכל sandbox יכול להיות policy שמגדיר את הגדרות הגישה לעולם החיצון.
זה בעצם מאפשר לקחת כל מערכת הפעלה ולהפוך אותה למערכת שיודעת להריץ סוכנים עם הגדרות מדויקות יותר בצורה סגורה ומאובטחת.
המיקרו-וי-אמ הוא מכונה וירטואלית שמריצה קלוד, דוקר ועוד כלים.
כל מה שאני צריך לפיתוח נכנס לתוך הסנדבוקס.
מודל העבודה שלי הוא Ephemeral server שבנוי מ-Docker imageים.Ephemeral אומר משהו שקיים זמנית.
צורת העבודה הזו מאפשרת לי לעלות ולהוריד מערכת תוך דקות בודדות.
עד כדי שכל ה-CICD שלי רץ ב-8 דקות סך הכל.
מה שרץ בתוך הסביבה הפנימית הוא קלוד-קוד שאכן מחובר לענן, אני עדיין מעריך את אופוס, הוא מביא תוצאות מעולות ביחד עם איכות קוד שעוברת ביקורת.
ופה זה נהיה יותר טוב -
בעזרת הוספת הגדרות אני יכול להגדיר לו MCP שמתחבר לשרתים שרצים לוקאלית ללא חיבור לרשת, מה שמאפשר לקלוד-קוד שרץ בפנים להיות מנהל של הרבה אייג’נטים שאני מריץ לוקאלית.
מה למדתי מהתהליך הזה.
אני דוגל במחשב local first.
זה יוצר גמישות מטורפת בהרצה ומניב מערכות ארכיטקטורה מורכבות שיודעות לקום וליפול כמו עלה ברוח.
אין שום דבר שעוצר אותי מלבד שדרוג תשתיות ומערכות שמן הסתם היו סובלות תחת כל ארכיטקטורה אחרת, כמו למשל בפריסה בענן.
אבל ככה אני מריץ משהו שאני לא דואג שייפול בכלל, כי אני יודע להרים אותו בקלות.
ואם צריך, למחוק הכל ולהתחיל מחדש.
תודה על הקריאה!
