בשנת תרי"ט (1859), בהיותו בן 12, זכה ועלה עם הוריו ואחיו, שהתיישבו בירושלים. תורתו למד מפי חכם רפאל אלעזר הלוי בן טובו וחכם דוד בן שמעון, 'הצוף דבש', שעלו ארבע שנים לפני כן, אף הם מרבאט, והיו ממייסדי ועד העדה המערבית. הוא העמיק את לימודיו מפי הראשון לציון, חכם רפאל מאיר פאניז'ל, ונשא לאישה את בתו מלכה.
משנת תרל"ג (1872) יצא כמה וכמה פעמים למדינות מערב אירופה וצפון אפריקה בשליחות כוללות המערבים וכוללות חברון, ישיבת 'בית אל', ישיבת 'דורש ציון', ובית החולים 'משגב לדך'. במסעותיו נפגש עם מלכי איטליה.
בישיבתו בירושלים היה מראשי ועד העדה המערבית בירושלים, שימש דיין בית הדין יחד עם הראשון לציון, חכם נחמן בטיטו, וחכם משה מלכא, ובשנת תרל"ה (1875) היה ממייסדי שכונת 'אבן ישראל', סמוך לרחוב יפו בירושלים.
בשנת תרס"ג (1903) עבר ליפו, לגור ליד בנו, משה, שהיה סגן מנהל בנק 'אנגלו-פלשתינה קומפני' ביפו. הוא שימש רב ומורה צדק לעדה הספרדית ודיין בבית הדיון המאוחד לספרדים ולאשכנזים. אך מכיוון שהיה בעל אזרחות צרפתית, לא ניתן היה למנותו באופן רשמי לחכם באשי. מאותה סיבה במלחמת העולם הראשונה, בשנת תרע"ד (1914) נאלץ לגלות לאלכסנדריה שבמצרים כל תקופת המלחמה.
ספרו 'הוד יוסף' - דרושים, יצא לאור בשנת תר"ע (1910) בירושלים. כתביו, שנותרו בכתב יד אבדו לנו במלחמה.
חכם יוסף ארוואץ נפטר ביום כ"א בכסלו תרפ"ה (1924) ונקבר בבית העלמין ביפו.
