Родился 20 октября (1 ноября, по новому стилю) 1841 года в Аракарагае на земле кипчаков Среднего жуза[3], находящейся под управлением Оренбургской пограничной комиссии (сейчас находится на территории Алтынсаринского района Костанайской области). Происходит из подрода алтыбас рода узун казахского племени кипчак, входящего в Средний жуз[4].
Рано лишившись отца, воспитывался в семье деда, известного бия, Балгожи Жанбуршина[5].
С самого детства проявлял сильную тягу к знаниям и самообразованию, часто общался с образованной частью российского общества.
В 1850 году был определён в школу-интернат при Оренбургской пограничной комиссии. В годы учёбы в Оренбурге он близко познакомился с учёным-востоковедом В. В. Григорьевым. Неиссякаемая жажда знаний, стремление принести пользы как можно больше своему народу. По характеру Ибрай Алтынсарин был скромным и трудолюбивым. Много читал, стараясь познать как можно больше из достижений других народов и передать их своим соплеменникам.
Окончил школу в 1857 году с золотой медалью. Затем в течение трёх лет работал писарем у своего деда Балгожи.
Некоторое время Алтынсарин работал переводчиком в Оренбургском областном правлении, где познакомился с Н. И. Ильминским.
В 1860 году областное правление поручило ему открыть школу для казахских детей в городе Тургае, в которой он был назначен учителем русского языка.
В 1861 году он получил должность учителя Тургайской школы.
В 1864 открыл первую народную школу.
Алтынсарину был присвоен чин статского советника. Некоторое время И. Алтынсарин работал также в Тургайском уездном управлении в качестве делопроизводителя, исполнял обязанности старшего помощника уездного начальника, временно — уездного судьи.
С 1879 года и до конца жизни — инспектор казахских школ в Тургайской области.
В 1883 году Алтынсарин переехал в Николаевский (Кустанайский) уезд. Он построил дом в трёх километрах от города Кустаная, на сгибе реки Тобол, на островке, где имелось небольшое озеро, получившее впоследствии название «Инспекторское». Там Ибрай Алтынсарин жил и работал до самой смерти.
Умер 17 июля (29 июля) 1889 года, похоронен недалеко от своего дома на берегу Тобола рядом с могилой отца.