חכם יוסף גבאי נולד לאמו ולאביו חכם שלום גבאי כנראה בשנת תרל"ד (1873) בעיירה בוז'עד במרוקו.
גדל בתורה וביראה, בנגלה ובנסתר, ונודע כשקדן וגאון, חסיד ועניו. היה אב בית דין בעיירה בוז'עד. ייסד ישיבה, עמד בראשה, והעמיד תלמידים הרבה. בתוכם שלושת בניו חכם שמעון, אברהם ולוי גבאי, חכם דוד אלבז, חכם דוד הכהן, שהחליפו כאב בית הדין וראש הישבה בעיירה בוז'עד, וחכם יוסף מור יוסף, מחבר 'תהילות יוסף'.
חכם יוסף גבאי מלומד בניסים, ומסופרים עליו מעשי נפלאות, איך ניצל משודדים וממוות.
בשנת תרפ"ב (1922) יצא לאור בתוניס ספרו 'כתנות יוסף' - חידושים על התורה, התלמוד, ומאמרי חכמים. לחלק מעותקי הספר, נוספו לאחר מכן, פיוטים מאת המחבר, ובהם הפיוט 'א-לוהים יקבץ נדחי, בזכות רבי שמעון בר יוחאי'. מהדורה שנייה של הספר, יצא לאור בשנת תשס"ח (2008) בידי חכם אברהם בן שטרית.
בשנת תרפ"ט (1929) יצא לאור בקזבלנקה ספרו 'בגדי שש'. מהדורה שנייה של הספר יצאה לאור בשנת תשמ"ח (1988), בידי נינו חכם אברהם גבאי, שהוסיף לספר מקורות הערות ומפתחות. בסוף ספר זה נדפס קונטרס בחרוזים על מנהגי השחיטה והטריפות כמנהג מראכש.
חכם יוסף נפטר ביום ד' חשוון תש"ד (1943), ומנוחתו כבוד בעיר בוז'עד, ולימים בנה חכם עמרם מור יוסף חצר על קברו. ישנו רחוב בירושלים הקרוי על שמו של חכם יוסף גבאי.