El rosario comenzó a utilizarse en el catolicismo alrededor del año 800. En los monasterios se suelen recitar los 150 salmos en la Liturgia de las Horas, pero a los fieles que no eran sacerdotes ni monjes, al no poder seguir esta devoción (porque en su mayoría no sabía leer) se les enseñó una práctica más sencilla: la de recitar 150 avemarías. Esta devoción tomó el nombre de «salterio de la Virgen».

Su popularidad y desarrollo se dio en el siglo. XIII, cuando surgió el movimiento albigense. Ante los enfrentamientos entre católicos romanos y albigenses, Domingo de Guzmán, fundador de la orden de los Predicadores (más conocidos como dominicos), parece haber promovido en sus misiones el rezo de una forma primitiva del rosario. Al ser los dominicos una orden de predicadores y estar siempre en medio del pueblo, su devoción se hizo popular, generando la aparición de cofradías y grupos de devotos por doquier, junto con relatos de milagros que acrecentaron su fama. Aunque la devoción decayó durante el siglo XIV, la orden de los Predicadores siguió fomentándola.

El beato Alano de la Rupe fue el encargado de hacerla resurgir, tarea seguida por Jacobo Sprenger, prior del convento de los dominicos en Colonia (Alemania). Para el siglo XVI ya estaba con su forma manejada hoy: Contemplación de los "misterios", Credo, Padre nuestro y Ave María como oraciones principales y las cuentas o granos como medio de llevar la oración.

Sobre el Avemaría es preciso señalar que la segunda mitad de la oración fue añadida a la primera en el siglo XIV, pero su uso se hizo universal cuando el papa Pío V promulgó el Breviario Romano y mandó que se rezase al principio de cada hora del Oficio Divino, después del Padre nuestro.

Fue la batalla de Lepanto la que causó que la Iglesia católica celebrara una fiesta anual al rezo del rosario, ya que el papa Pío V atribuyó la victoria de los cristianos sobre los turcos a la intercesión de la Virgen María mediante el rezo del rosario. La fiesta fue instituida el 7 de octubre. Primero se la llamó «Nuestra Señora de las Victorias», pero el papa Gregorio XIII modificó el nombre de la solemnidad por el de «Nuestra Señora del Rosario».

Un fenómeno muy importante en torno a esta devoción fue el de los rosarios públicos o callejeros, que surgieron en Sevilla en 1690 y se extendieron muy pronto por España y sus colonias americanas. Eran cortejos precedidos por una cruz y que constaba de faroles de mano y asta para alumbrar los coros y estaban presididos por la insignia mariana denominada Simpecado. Fue la principal referencia de la devoción y en Sevilla llegó a haber en el siglo XVIII más de 150 cortejos que diariamente hacían su estación por las calles rezando y cantando las avemarías y los Misterios. Los domingos y festivos salían de madrugada o a la aurora. Al principio eran masculinos, pero ya en el primer tercio del XVIII aparecieron los primeros Rosarios de mujeres que salían los festivos por la tarde.

En Fátima (Portugal), en 1917, un grupo de niños alegó haber experimentado una aparición de la Virgen María, quien les habría revelado que cada vez que se reza un Ave María es como si se le ofreciera una rosa, de tal suerte que cada rosario completo sería una corona de rosas (concepto que había sido mencionado tiempo atrás por Luis María Grignion de Montfort en su obra Secreto admirable del Santo Rosario).

El 16 de octubre de 2002, el papa Juan Pablo II promulgó la Carta Apostólica Rosarium Virginis Mariae, en la que aprobó que se añadieran cinco nuevos Misterios al rosario, los misterios luminosos. La introducción de estos Misterios ha sido la única reforma sustancial en este rezo después de varios siglos.