Николай Николаевич Рыбников родился 13 декабря 1930 года в Борисоглебске, в актерской семье. Отец Николая Рыбникова ушёл на фронт, а мать вместе с двумя сыновьями — Николаем и Вячеславом — переехала к своей сестре, проживавшей в Сталинграде. Ребята рано остались без родителей — война не щадила никого, и вскоре с фронта пришла похоронка на отца, а следом за ним умерла и мама.
Так и вышло, что он вырос в Сталинграде, где закончил школу, и где на подмостках школьной сцены были замечены его актёрские способности. Однако, после окончания школы он поступил в Сталинградский медицинский институт. Но все-таки тяга к лицедейству взяла верх, и в 1948 году Николай поехал в Москву учиться на артиста и поступил во ВГИК (мастерская С. А. Герасимова и Т. Ф. Макаровой), который окончил в 1953 году.
В памяти Тамары Фёдоровны Макаровой, Рыбников остался человеком большого темперамента, которому по плечу были и Шекспир, и Шиллер, а ему всё предлагали играть, как говорил в конце жизни сам актёр, бригадиров. Творческий диапазон его был необъятен. Как вспоминают сокурсники, ему удавались Жюльен Сорель и Хлестаков, Макар Нагульнов и пушкинский Дон Гуан, изъясняющийся только по-французски Бенкендорф.
Дебют в кино — крошечный эпизод на свадьбе в фильме «Сельский врач» (1951), далее — прошедший почти незамеченным фильм «Команда с нашей улицы» (1953). По-настоящему заметным его актёрский талант стал в картине А. А. Алова и В. Н. Наумова «Тревожная молодость» (1954). В этом фильме критики отметили работу Николая Рыбникова. В следующей своей роли в фильме М. А. Швейцера «Чужая родня» он сумел создать абсолютно противоположный образ. Роль Федора тоже не прошла незамеченной. Но настоящая слава пришла к артисту после фильма «Весна на Заречной улице» (1956), поставленного Ф. Е. Миронером и М. М. Хуциевым. Герой Рыбникова — Саша Савченко — обыкновенный парень, по профессии сталевар, по должности — бригадир, по социальной прописке — исконный житель рабочих окраин. Режиссёр картины М. Хуциев вспоминает, что на главную роль они искали совсем другого исполнителя, но всё же роль досталась Рыбникову. М. Хуциев писал: «Он способен думать о роли всё время и каждый день приносить новые решения. Он всё время носит в себе образ, над которым трудится. Он не стесняется трудиться».
Далее были фильмы «Высота» (1957), «Девушка без адреса», «Девчата», которые имели огромный зрительский успех. На счету Рыбникова также фильмы: «Им покоряется небо», «Война и мир», «Освобождение», «Хоккеисты», «Седьмое небо», «Выйти замуж за капитана».
Заслуженный артист РСФСР
Народный артист РСФСР
Рыбников умер от сердечного приступа 22 октября 1990 года. Похоронен в Москве на Троекуровском кладбище.