בצעירותו למד בישיבות באיזמיר אצל חכם חיים אבולעפיה וחכם יצחק הכהן רפפורט.
בהיותו באיזמיר הביא לדפוס את הספר הקבלי 'חמדת ימים', אשר לא נודע מי חיברו, ויש המייחסים אותו לחכם ישראל יעקב אלגאזי עצמו.
בשנת תצ"ה (1735) עלה לארץ ישראל. למד בישיבת המקובלים 'בית אל'. כיהן כמורה צדק בבית דינו של הראשון לציון החכם אלעזר נחום, וישב בדין עם חכמי הדור הראשון לציון חכם חיים משה נסים מזרחי, ומורו ורבו עוד באיזמיר, הראשון לציון חכם יצחק הכהן רפפורט.
בשנת תקט"ו (1755) חכם ישראל יעקב אלגאזי התמנה כ'ראשון לציון', ושימש בתפקיד זה עד סוף ימיו. באותה עת עמד גם בראש ישיבת 'נווה שלום - ברית אברהם', שבה למדו גדולי חכמי ירושלים.
תחת ידו יצאו תשובות רבות שהיו לציבור כדברי האורים, ואף היה בין המתקנים תקנות גדולות על פי צרכי הציבור והשעה בירושלים, ביניהן תקנה 'על עניין הרווקים' ותקנה בעניין 'צמצום ההוצאות לצרכי מותרות'.
חכם ישראל יעקב אלגאזי נלקח לבית עולמו ביום י' תמוז תקט"ז (1757), ונטמן בחלקת 'קהל חסידים' שבהר הזיתים בסמוך לקבר הרש"ש - חכם שלום מזרחי שרעבי.
חכם ישראל יעקב אלגאזי חיבר ספרים רבים, ביניהם: 'שלמי ציבור' - דינים ומנהגים, 'נאות יעקב' - שו"ת ודרושים, 'מענה לשון' - על כללי הש"ס, 'אמת ליעקב' - דיני ספר תורה ופרטי מנהגי צרכי ציבור, 'ארעא דרבנן' - דיני דאורייתא ודרבנן, 'קהילות יעקב' - שו"ת על הש"ס, 'מגיד דבריו ליעקב' - פירוש להגדה של פסח ועוד.
