גדל בתורה וביראה על ברכי אביו, חכם משולם פייביש. בשנת תקצ"ב (1832) נשא לאישה את בת הגביר אליהו הכהן, היה סמוך על שולחנו בעיירה פטרוביץ', והקדיש כל עתותיו ללימוד התורה. אחר נישואיו עבר לעיר וילנא, שם הסתגר באחד מבתי הכנסיות שבעיר, ושקע בלימוד כתביו של החכם חיים מוולוז'ין.
בשנת תקצ"ח (1838) חזר לפטרוביץ' והחל ושמש רב העיר. בשנת תר"ח (1848) עבר לעיר חסלביץ', לשמש רב העיר. הוא הקים בה ישיבה גדולה, אליה נהרו תלמידים רבים, מכל תחום המושב באימפריה הרוסית.
בשנת תרכ"ד (1864) זכה ועלה לארץ ישראל, והתיישב בעיר ירושלים. בשנת תרכ"ה (1865), אחר שנפטר חכם משה יהודה לייב זילברברג מקוטנא, התבקש ע"י רבני ירושלים, ובראשם חכם שמואל מסלנט, לשמש ראש ישיבת 'עץ חיים'. במשך השנים העמיד מאות תלמידים. הוא היה דורש בבתי הכנסיות בירושלים, ושימש נשיא 'חברת שערי חסד', שנוסדה על ידי החכם שלמה זלמן פרוש. בשנת תרכ"ז (1867) נאלץ לצאת את ארץ ישראל, בגעגועיו הרבים לירושלים, חיבר באוניה את קונטרס 'שאלו שלום ירושלים'.
בשנת תרל"ז (1877) אחר שחכם משה יהושע יהודה לייב דיסקין, עלה לארץ, והקים את ישיבת 'אוהל משה', נתעוררה מחלוקת סביב פירעון ההלוואה על רכישת חצר ישיבת 'עץ חיים' מקופת 'הוועד הכללי'. בשנת תרמ"א (1881) נתקנה תקנה ע"י עדת האשכנזים הפרושים, שכל תקנות והסכמות, שיתקן חכם משה יהושע יהודה לייב דיסקין, לא יחולו, אם לא קיבלו הסכמת שני ראשי העדה: חכם שמאול מסלנט, וחכם משה נחמיה כהניו.
חכם משה נחמיה כהניו נפטר ביום ח' בסיוון בשנת תרמ"ז (1887) ומנוחתו כבוד בהר הזיתים.
הוא חיבר חיבורים רבים, ובתוכם: 'ארץ חפץ' - הלכות תרומות ומעשרות; 'חוקות עולם' - הלכות כלאים; 'מי מנוחות' - הלכות שבת; 'נתיבות השלום' - שולחן ערוך אבן העזר וחושן משפט; 'שנת השבע' - הלכות שמיטה; 'נופת צופים' - הגדה של פסח; 'שפתי ישנים' - ענייני תפילה; 'שאלו שלום ירושלים' - תיאור חייהם של בני ירושלים בתקופתו. צוואתו נדפסה בסוף ספרו 'שפתי ישנים'.
