בצעירותו למד בתלמוד תורה ובישיבה, במקביל ללימודי מדעים בבית הספר העממי ובגימנסיה המקומית.
בשנת תרס"ט (1909) זכה ועלה לארץ ישראל, הוא עסק בפעילות חלוצית, ולבסוף התיישב בירושלים. הוא החל ללמוד בבית המדרש למורים 'עזרא', אך בשל אהבתו לשפה העברית, עבר ללמוד וסיים את לימודי הוראה, בשנת תרע"ה (1915), במחזור הראשון של בית המדרש העברי למורים בראשות דוד ילין. בתוך המלחמה, התגייס לצבא העות'מאני, ושירת באזור באר שבע. בשנת תרע"ז (1917) החל ללמד את ילדי המושבה מוצא בדרך העולה לירושלים, והיה לן בפרוזדור בית הכנסת במוצא.
בשנת תרפ"ב (1922) יצא לשליחות לעיר איזמיר, ועמד בראש התלמוד תורה הגדול בעיר. בערבים היה מלמד את הציבור עברית. באיזמיר נשא לאישה את מרת שרה לבית חכים, ונולדו להם ארבעה ילדים: כלילה, יגאל, בנימין ויהורם. בשנת תרפ"ג (1923) חזר לירושלים ומילא תפקידים שונים בהנהלת התנועה הציונית, ובשנת תרפ"ה (1925) הוציא לאור קובץ משיריו בלאדינו בשם 'פואיזיאס'.
בשנת תרפ"ח (1929) יצא לשליחות לעיר בואנוס איירס, ושימש מורה לילדי קהילת יוצאי מרוקו בארגנטינה. בשנת תרפ"ט (1939) חזר לירושלים, והחל לשמש המזכיר הכללי לוועד העדה הספרדית. הוא נמנה עם פעילי מפלגת 'הסתדרות היהודים הספרדים בארץ ישראל', שהייתה המפלגה המרכזית שייצגה את הספרדים ביישוב ובהקמת המדינה, והיה חבר הנהלה ב'התאחדות העולמית של היהודים הספרדים'.
מר משה דוד גאון היה תלמיד חכם, שהיה חלוץ חוקרי יהדות המזרח ותרבות הלאדינו בישראל, ועל מפעלו החשוב זכה לכינוי "ההיסטוריון של יהדות המזרח". הוא פרסם במהלך חייו מספר ספרים ומאות מחקרים בנושא. בין כתביו נמנה ספרו 'יהודי המזרח בארץ ישראל בעבר ובהווה', שיצא לאור בשני חלקים, בשנת תרפ"ח (1928) ובשנת תרצ"ח (1938). בספר זה הוא סוקר את תולדותיהם ופועלם של חכמי הספרדים והציבור הספרדי במאות השנים האחרונות בארץ ישראל, תוך תיאור חלקם של הספרדים בבניין ארץ ישראל וביישובה. ספר חשוב נוסף הוא 'חכמי ירושלים: מבחר מאמרים', שיצא לאור, בשנת תשל"ו (1976), לאחר פטירתו, ובו לוקטו מבחר מאמריו. הוא חיבר גם את הספר 'העיתונות בלאדינו', שיצא לאור בשנת תשכ"ה (1965), לאחר מותו, הספר הוא ביבליוגרפיה ל-296 כתבי עת שנכתבו בשפת הלאדינו.
מר משה דוד גאון נפטר ביום כ"ד תשרי בשנת תשי"ט (1958). הוא אומנם לא נסמך כחכם השלם אך זכותם של חכמי הספרדים בארץ ישראל, שקיבץ והוציא לאור תולדותיהם ופועלם, עומדת לו, לדור ודור.
