Народився 2 (14) червня 1835 року в єврейській сім'ї. По батьківській лінії сім'я Рубінштейнів походила з Житомира і Бердичева, по материнській — зі Східної Пруссії. Музикою займався з 4 років під керівництвом матері, а з семи років концертував разом з братом Антоном. Вчився в Берліні у Куллака грі на фортепіано і у Дена теорії музики. Потім займався у Віллуана. Закінчивши курс в університеті, Рубінштейн став на чолі московського відділення Російського музичного товариства (1860). А в 1866 році став директором тільки-но відкритої московської консерваторії, з якою не розлучався до самої смерті. Він заснував і з князь Микола Петрович Трубецкой. Рубінштейн був видатним педагогом по грі на фортепіано, прекрасним капельмейстером і віртуозним піаністом.
За кордоном Рубінштейн концертував рідко: у 1872 році він грав у Відні, в 1872 році організував російські концерти на всесвітній виставці в Парижі, будучи першим серйозним пропагандистом російської музики у Франції. У цих концертах Рубінштейн виступав як диригент і піаніст. В кінці 1870-х Рубінштейн дав серію з 33 благодійних концертів в різних містах Росії на користь Червоного Хреста.
Рубінштейн допомагав молодим талантам. Значну роль зіграв Рубінштейн композиторській кар'єрі П. І. Чайковського Рубінштейн грав важливу роль. Зокрема під керівництвом Рубінштейна відбулася 1-а постановка опери «Євгеній Онєгін» силами учнів консерваторії.
Саме Рубінштейн замовив Чайковському написати знаменитий Перший фортепіанний концерт. Проте сам піаніст, отримавши ноти, відмовився його виконувати, вважаючи його занадто важким та незручним для виконання і зажадав від Чайковського переробки Концерту. Проте Чайковський не став переробляти концерт, а лише змінив присвяту — Перший фортепіанний концерт Чайковського було переприсвячено німецькому піаністові Гансу Бюлову, який і виконав його вперше у Бостоні.
Помер Микола Рубінштейн в 1881 році в Парижі, але похований в Москві на Новодівочому цвинтарі. Після його смерті був виданий московською фірмою Юргенсона альбом зі всіма фортепіанними творами.
Чайковський присвятив Рубінштейну своє фортепіанне тріо «Пам'яті великого артиста» (1882).
