אביו, מראשי העדה הספרדית ביפו, שעלה לארץ מאוראן באלג'יר ואימו שעלתה מבגדאד, גדלו אותו על ברכי התורה והיראה. הוא למד בתלמוד תורה ובית הספר 'תפארת ישראל' בעיר ביירות. בית הוריו בעיר יפו היה בית ועד לחכמים ודורשי תורה. אביו בנה קומה נוספת בביתו, שהוקדשה לבית כנסת ובית מדרש ליהודי יפו.
בשנת תרמ"ז (1887) נשא לאישה את פרחה לבית מויאל, ונולדו להם שבעה ילדים.
בעקבות צורכי פרנסת המשפחה, הפסיק מלימודיו ופנה לעסוק במסחר. בשנת תרנ"א (1891) ביחד עם שני אחיו, הקים עסק למוצרי בניין בשם 'האחים שלוש', והפך קבלן בתחום הבנייה ועסקי הקרקעות. הוא עסק בגאולת אדמות ארץ ישראל, והיה ממייסדיה הראשונים של תל-אביב. יחד עם אביו, בנה בשנת את בתי השכונה היהודית הראשונה מחוץ ליפו 'נווה צדק', ובשנת תר"ע (1910) בנה את הבתים הראשונים של שכונת 'אחוזת בית' - הגרעין הראשוני של תל-אביב. בין הבתים המפורסמים שבנה, היו בתי פיינגולד בשנת תרס"ד (1904), בית הספר של 'כל ישראל חברים' בנווה צדק בשנת תרס"ט (1909), ובניין הגימנסיה העברית הרצליה באותה שנה.
בשנת תרע"ז (1917) בימי מלחמת העולם הראשונה, המושל הצבאי של ארץ ישראל, אחמד כמאל פאשה חתם על צו גירוש שנאכף על יהודי תל אביב ויפו, כחמשת אלפים מיהודי העיר נאלצו לגלות מהאזור, בתוכם קהילת של מר יוסף אליהו שלוש, שנדדו לכפר הערבי ג'מאל במערב השומרון, שם התארחו עד סוף המלחמה.
בשנת תרע"ח (1918), לאחר מלחמת העולם הראשונה, נבחר כחבר מועצת העירייה והוועד הפועל הראשון של עיריות תל-אביב ויפו. כיליד הארץ שמכיר את השפה והתרבות הערבית, ידע למצוא גשר ליחסים טובים עם הערבים גם בעיתות משבר, ולא פעם שימש כנציג מטעם מנהיגי העיר כדי להידבר עם הערבים בעניינים שונים.
לקראת סוף ימיו, הלך והתרחק מהעיסוק בחיי המעשה, אך המשיך לבטא את דעותיו בדבר הדרך הראויה לעתיד היישוב, למצבו של העם וליחסי ישראל והערבים בימיו. הוא נהג לפרסם מאמרים שונים בעיתונות העברית והערבית. בין היתר, מתח ביקורת על יחסם המתנשא של בוני היישוב בתנועה הציונית כלפי הערבים, וקרא לדו-קיום אמיתי שנובע מתוך הכרת התרבות של שני העמים ויחסים אנושיים ביניהם.
מעשיו, שלו ושל אביו, חלקם בבנייתה של העיר העברית הראשונה תל-אביב, מלמדים בין היתר על חלקם של ספרדים מהיישוב הישן בתנועה הציונית ובבניין ארץ ישראל.
מר יוסף אליהו שלוש חיבר ספר בשם 'פרשת חיי', ובו הוא סוקר את זיכרונותיו משנות ילדותו ביפו ועד לאחר מאורעות תרפ"ט (1929), ומשלב בו, דברי הגות עם סיפורים מיוחדים ונדירים מתולדות היישוב. הספר יצא לראשונה בשנת תרצ"א (1931), וכן בהוצאה חדשה בשנת תשס"ה (2005).
מר יוסף אליהו שלוש נפטר ביום י"א אב תרצ"ד (1934), כשלושה חודשים לאחר פטירת אשתו. מר יוסף אליהו שלוש, לא הוסמך לרבנות, ולא שימש כחכם הקהל אף שהנהיג את קהילתו, וחכמת מעשיו מעידה עליו.
