נולד בנהלל ב-7באוקטובר 1922 בארץ ישראל תחת השלטון הבריטי. בן ליהודית ומרדכי שמחוני, דור חמישי לעובדי אדמה מושרשים (אשר עלו ארצה בשנת 1921 משדה מנוחה, חבל חרסון באוקראינה) וממייסדי נהלל. בשנת 1931, בהיותו בן 9 עבר עם משפחתו לקיבוץ תל-יוסף שבעמק-יזרעאל. בני משפחתו השתלבו בתנועה הקיבוצית. אסף למד בבית הספר המשותף עין חרוד-תל יוסף. כבר בצעירותו התבלט ביוזמתו, תרומתו לחברה והתמצאות בכל שטחי העבודה בקיבוץ, כמו כן עסק בספורט וניגן בחצוצרה בתזמורת של תל-יוסף.
במהלך שנות "המאורעות" (תרצ"ו-תרצ"ט 1939-1936), בהיותו בן 16 בלבד, הנהיג מרד בנים נגד הישיבה ה"פאסיבית" על ספסל הלימודים לנוכח עמידת המבוגרים בשער להגנה מפני התוקפים. אסף קבע כי "בימי רצח ודמים, עת משתוללות כנופיות ערביות בהתקפות על יישובים יהודים, לא לנו (בני 16-15) לעסוק בתורה לחבוש את ספסל הלימודים בעוד ההורים יגנו עלינו. עלינו לצאת החוצה ולקדם את פני האויב". אסף סבר כי מדובר בשאלה מצפונית ולכן אין לקבל את דעת הרוב בענין זה "לכשיונח לנו מאויבינו, נוכל להמשיך בלימודינו ובעבודתנו באין מחריד" קבע.
מאז החל לעסוק בארגון וחישול הכח בקרב הילדים ובני הנוער לנוכח האיומים. בשנת 1938 (בהיותו בן 16) הצטרף ל"הגנה" והשתתף באופן פעיל בהגנה בימי המאורעות. אסף היה מהראשונים שהתנדבו לפלמ"ח (בשנת 1941, בהיותו בן 19), השתתף בפלישה לסוריה (רמת הגולן של ימינו) במטרה לנתק קווי תקשורת ופגיעה באויב הצרפתי - שלטון וישי, בן-בריתם של הגרמנים. בשנת 1943 נישא לדלילה ונולדו להם שלושה בנים - יואב, אבנר ויפתח. בשנותיו הראשונות של הפלמ"ח פעל במסגרת יחידתו בגליל העליון, עמק יזרעאל ובבית קשת כמפקד ההיאחזות הראשונה של הפלמ"ח בישוב.
ב-1945 מונה למפקד גדנ"ע באזור חיפה, ארגן והשתתף במאבק כנגד הבריטים ומלחמתם בעליה לארץ ובאניות המעפילים. ב-29 ביוני 1946 נעצר יחד עם חבריו ב"שבת השחורה" והובא למעצר ברפיח (שברצועת עזה) ובעתלית.
בתקופה זו, עוד לא ראה אסף את עצמו כחייל וקצין לעתיד. בכל הזדמנות אשר ניתנה לו ע"י הפלמ"ח היה חוזר למשק בתל-יוסף ומשקיע את מירצו בעבודה בענפי המשק השונים ובמשפחתו.
עם פרוץ מלחמת השחרור, נתמנה למפקד פלוגה א' ("הפלוגה הדתית") בגדוד הראשון של הפלמ"ח, מאוחר יותר נתמנה למפקד הגדוד. לאחר הקמת צה"ל (בשנת 1949) נתמנה למפקד חטיבת "יפתח". במהלך מלחמת השחרור השתתף, בתפקידי פיקוד שונים, בכ-40 קרבות בגזרות שונות. אסף לחם בעוז ובאומץ, תוך הפגנת שאר-רוח. שקול ומתון, מעולם לא נרתע מהכוחות האיתנים שנגדו. כמפקד ללא חת ביצע את כל המשימות אשר הוטלו עליו תוך שסיכן את חייו. תמיד צעד בראש, שימש דוגמא לפקודיו אשר הלכו אחריו בתחושת ביטחון. על אף שהלך תמיד בראש הלוחמים ולא החסיר קרב אחד ולא נפגע במהלך הקרבות הרבים בהם השתתף. הייתה בו אמונה בצידקת דרכו לכינון מולדת לעמנו ובניצחון דרכו, בכח אמונה זו צעד והצעיד את פקודיו-חבריו לנצחון בקרב.
לאחר מלחמת השחרור שמש כסגן מפקד בית הספר למג"דים (בפיקודו של אלוף יצחק רבין) ולאחר שהוענקה לו דרגת אלוף משנה שימש כמפקד חטיבה (מחוז) 17 במרכז הארץ וכמפקד חטיבת גולני בצפון הארץ. בין השנים 1952-1954 שימש כממלא מקום אלוף פיקוד הצפון. בהמשך קיבל חופשה לצורך לימודים באוניברסיטה העברית בירושלים, בסיומה מונה לעוזר ראש אג"ם במטכ"ל ולאחר מכן לממלא מקומו. בתפקידו כעוזר ראש אג"ם עודד ודחף לפעילות את יחידת הצנחנים 101 בפיקודו של סא"ל אריאל שרון, אשר באותם ימים קבעה סטנדרטים חדשים של לחימה ודבקות במשימה בצה"ל. בסוף 1955 נשלח אסף לקורס קצינים בכירים באנגליה אשר הופסק לקראת סיומו. הרמטכ"ל, רב אלוף משה דיין, קרא לו בבהילות לחזור ארצה ולקבל מנוי של אלוף פיקוד דרום, הפיקוד הגדול והחשוב ביותר באותה עת. כאלוף הפיקוד הוטל עליו לפקד על מבצע קדש למיגור הצבא המצרי בסיני ולפקד עליו. מבצע קדש התחולל בסוף אוקטובר ותחילת נובמבר 1956 והסתיים בניצחון מזהיר לצה"ל וכיבוש חצי האי סיני ורצועת עזה. במהלך המלחמה אסף השתתף יחד עם פיקודיו בכיבוש הרצועה וקיבל את כניעת המושל המקומי. לפני המלחמה ובמהלכה ניטש ויכוח חריף בינו לבין הרמטכ"ל-רב-אלוף משה דיין בנוגע לתוכנית המלחמה, במרכזו עמד עיתוי ודרך הפעלת כוחות השריון. תודות להחלטותיו של אסף, ביניהן הקדמת פעולת חטיבה השריון 7 במטרה להכריע את הקרב, הסתיימה המלחמה בניצחון מהיר ומוחץ (תוך 5 ימים) ובמינימום קורבנות. בכך עוצבה מחדש תורת הלחימה של צה"ל, הגורסת כי השריון הוא החייל המבקיע והמוביל בקרב היבשה. מספר שנים לאחר מכן, כתב רב-אלוף משה דיין בספרו "יומן מערכת סיני" בהתייחסו, בין השאר, לויכוח בנוגע להפעלתה המוקדמת של חטיבת השריון, כי "מוטב להיאבק בסוסים האבירים כאשר הבעיה היא איך לבלמם - מאשר לדחוק ולהאיץ בשוורים המסרבים לזוז".
בלילה שבין ה-6 ל-7 בנובמבר 1956, בחוזרו ממסדר ניצחון של חטיבה 9 בשארם-א-שייך נקלע מטוסו הקל לסופת רוחות והתרסק בכפר עזון שבירדן. אסף, הטייס-בנימין גורדון וקצין נוסף שליוום-סא"ל אשר דרומי, ניספו.
אסף היה מפקד דגול, איש רעים להתרועע, פשטות וחברות. גילה תעוזה וגבורה, הזדהות ודבקות במטרה ובערכים. ידע לטפח בפקודיו את הבטחון הפנימי-מוסרי במלחמתם לשחרור ואת הכמיהה לחירות עברית ולעצמאות.
דוד בן-גוריון, ראש הממשלה ושר הבטחון ספד לו כך: "אהוב נפשי, אסף שמחוני, אלוף הנצחון של צה"ל! נהיית לבן אלמוות בעמדך בראש המערכה בסיני. אנו נפרדים ממך בצער עמוק, בהערצה ובגאון".
רב אלוף משה דיין, הרמטכ"ל, ספד לו: "בנפול אסף, אבד לצה"ל מפקד ממערכות עמו, חייל אשר היה ברוחו, בגופו ובדמו מפקד שדה, עז רוח ונבון קרב".
במשך השנים הוקמו מוסדות ונקראו רחובות רבים על שמו ברחבי הארץ. כן רבו ההורים שקראו לילדיהם בשם - אסף. בכור בניו - יואב שירת ולחם כמ"פ שריון בקרבות על מקורות המים ברמת הגולן, בסיני במלחמת ששת-הימים ובקרבות ברמת הגולן ובסיני במלחמת יום-הכיפורים. בנו - אבנר ז"ל שירת ולחם בסיירת חטיבת שריון בקרבות בסיני במלחמת ששת-הימים ונפל בעלותו על מוקש בסיני במלחמת ההתקשה ב-1968. בן הזקונים - יפתח, שירת כקצין מודיעין בפיקוד הצפון במלחמות יום-הכיפורים ולבנון.