אביו, בן לשושלת חכמים, שהגיעו לירושלים מאיזמיר, היה בין הראשונים, שיצאו מחוץ לעיר העתיקה, עברו לגור בכפר השילוח, ועסקו בחקלאות. ראשית תורתו למד בבית המדרש 'דורש ציון' ובישיבת 'אוהל יוסף'. אחרי כן למד שפות והשכלה כללית בבית הספר של 'כל ישראל חברים'.
בשנת תרמ"ד (1884) החל לשמש מורה לעברית ולערבית בבית הספר של 'כל ישראל חברים' בירושלים. ובהמשך לימד גם בבית היתומים מיסודם של יהודי פרנקפורט. בשנת תרמ"ח (1888), נמנה בין העשרה שהקימו את לשכת 'בני ברית ירושלים'. בשנת תרמ"ט (1889) היה ממקימי שכונת 'שערי צדק' בירושלים.
בשנת תר"ן (1890) נשא לאשה את מרגלית בתו של הרב יחיאל מיכל פינס, ממייסדי 'ועד הלשון העברי', וכמותו הנהיג בביתו לדבר רק את השפה עברית.
בשנת תרנ"א (1891) היה ממייסדי אגודת 'חיבת הארץ', שעסקה ברכישת קרקעות. באותה שנה, החל ללמד עברית, ערבית וצרפתית בבית הספר אוולינה דה רוטשילד. בשנת תרנ"ז (1897) שימש גבאי תלמוד תורה של עדת הספרדים. בשנת תרע"ג (1903) השתתף בייסוד 'בית המלאכה לבנות' בירושלים, ובשנת תרע"ז (1907) השתתף בייסוד 'החברה להחזקת המקומות ההיסטוריים בארץ ישראל'.
בזמן מלחמת העולם הראשונה, גורש גיסו, דוד ילין לדמשק. הוא החליפו כמנהל בית המדרש למורים, והיה חבר ב'ועד הסיוע האמריקאי'. בשנת תרע"ט (1919) נתמנה למנהל 'בית הספר לבנים' שברשת החינוך הכללי. הוא לימד ערבית ב'בית המדרש למורים', ושימש מורה לעברית, ערבית וצרפתית. בבית הספר של החברה האנגלית-יהודית בירושלים. היה ממייסדי בית המדרש למורים של 'עזרה', ולימד בו ערבית.
בתקפות המנדט הבריטי, מר יוסף מיוחס ייסד את 'ועד העיר ליהודי ירושלים', גוף שאיגד את רוב החוגים והעדות בירושלים, והיה נשיאו עד שנת תרפ"ט (1929). הוא היה מראשי 'ועד העדה הספרדית',
מר יוסף מיוחס כתב מאמרים בעיתונות העברית וחיבר ספרים רבים. פעל רבות למען איסוף ושימור מסורות ומנהגים ספרדיים. עודד את תלמידיו הספרדים שעלו לארץ ללמוד ולתעד את מסורותיהם ומנהגיהם של הוריהם וזקניהם בטרם ישתכחו מסורות אלו בעקבות קיבוץ הגלויות והתערבבות העדות. כתב רבות על חיי הערבים הפלאחים בארץ. הדגיש את החשיבות של ההיכרות עם השכנים למען הקיום בארץ. היה ממייסדי 'ספריית אברבנאל' ו'גנזי יוסף', שהם היסודות לספרייה הלאומית בירושלים.
מר יוסף מיוחס נפטר ביום כ"א באלול בשנת תש"ב (1942), לאחר מחלה ממושכת, ונטמן בירושלים.
בין חיבוריו: 'מעשיות עם לבני קדם' - מעשיות ומנהגים של היהודים הספרדים ובני עדות המזרח; 'הפלחים: חיי הפלחים בהשוואה אל חיי היהודים בתקופת התנ"ך והתלמוד'; 'שיחות ישמעאל' - פולקלור ערבי.
