К.Ф. Рулье родился в 1814 году в Нижнем Новгороде от родителей французского происхождения. Отец Рулье был сапожником, а мать повивальной бабкой (акушеркой). Сначала воспитывался дома, а потом в частных пансионах «небогатой руки».
Рулье жил в Москве с 1829 года. В том же году он стал воспитанником Медико-хирургической академии. После перехода на третий курс в 1831 году стал студентом и учился у Г. И. Фишера и А. Л. Ловецкого. Окончил академию в 1833 году лекарем первого отделения с первой серебряной медалью.
Будучи вынужден жить личным трудом, Рулье поступил на службу врачом в Ряжский драгунский полк, где оставался до 1836 года. Медицина не удовлетворяла Рулье, и он с радостью принял предложение президента Московской медико-хирургической академии быть репетитором при академии. В 1837 году защитил диссертацию «О геморрое» и получил степень доктора медицины. После этого Рулье стал преподавать студентам минералогию и зоологию в качестве адъюнкт-профессора. Одновременно работал в университетском Зоологическом музее, хранителем с 1837 года, директором с 1840. В 1840 году начал читать лекции по зоологии в Московском университете. В 1842 году утверждён экстраординарным профессором по кафедре зоологии, а в 1850 году стал ординарным профессором.
В 1837 году был избран членом Московского общества испытателей природы и несколько лет был секретарём общества.
Рулье был одним из первых российских пропагандистов и популяризаторов естественных наук. Он активно читал публичные лекции, основал и редактировал научно-популярный журнал «Вестник естественных наук» (1854—1860). Рулье создал российскую научную школу зоологов-эволюционистов (Н. А. Северцов, А. П. Богданов и др.).
К. Ф. Рулье активно работал в области геологии и палеонтологии Подмосковья, создав основу для развития эволюционной палеонтологии. Он ввёл сравнительно-исторический метод исследования органического мира. Работы Рулье по изучению инстинктов животных и их психической деятельности заложили основы эволюционного направления в зоопсихологии.
Влияние внешних условий на животных, законы географического распространения животных, периодические странствования птиц, ход рыбы против течения во время нереста, зооэтика — вот какие вопросы занимали Рулье. Он рассматривал организм не взятым отдельно, а в связи с миром, предшествовавшим его появлению, влияние на организм среды, которая в которой происходит его жизнь, ряд тех изменений и приспособлений в органах, которые вызывает эта среда, — все это было положено в основу курса Рулье.
Рулье в 1852 году заложил так называемое экологическое направление в зоогеографии, которое далее разрабатывалось Н. А. Северцовым.