Johann Adolf Scheibe wurde als Sohn des Orgelbaumeisters Johann Scheibe (um 1675–1748) in Leipzig geboren und wuchs dort auf. 1725 begann er ein Studium der Rechtswissenschaften und Philosophie an der Stadtuniversität, musste es jedoch abbrechen, als sich die finanzielle Situation der Familie stark verschlechterte. Er begann nun, sich professionell und großenteils autodidaktisch das Orgel- und Cembalospiel beizubringen. Nach einem erfolglosen Versuch im Jahre 1729, den Posten des Thomaskantors zu erlangen, war er von 1730 bis 1735, weiterhin in seiner Heimatstadt, als Musiklehrer und Komponist tätig.
1736 zog er nach Hamburg um, wo es ihm schnell gelang, einflussreiche Freunde wie Mattheson und Telemann zu gewinnen. Letzteren vertrat er während seiner Abwesenheit als Musiklehrer. Von beiden ermutigt, veröffentlichte er von 1737 bis 1740 „Der critische Musicus“, eine Zeitschrift, die zu Beachtung gelangte, weil sie sich mit damals wichtigen Fragen musikalischer Ästhetik befasste.
1739 wurde Scheibe auf Schloss Friedrichsruh (in Drage bei Itzehoe) als Kapellmeister des Markgrafen Friedrich Ernst von Brandenburg-Kulmbach, dem damaligen Statthalter des dänischen Königs in den Herzogtümern Schleswig und Holstein, angestellt.
1740 wurde er von der Schwester des Markgrafen, der dänischen Königin Sophie Magdalene, als Kapellmeister und königlicher Hofkomponist an den pietistisch geprägten dänischen Hof unter Christian VI. auf Schloss Christiansborg geholt. Scheibe wurde nun schnell eine der führenden Personen im musikalischen Leben der Hauptstadt, leitete das königliche Orchester, komponierte Vokal- (Passionsoratorium 1742, Musik heute verloren) und Instrumentalmusik und war die treibende Kraft in der Errichtung von Dänemarks erster musikalischer Gesellschaft, der „Det musikalske Societet“, welche in den Jahren 1744 bis 1749 öffentliche Konzerte veranstaltete.
Nach dem Tod des Königs 1746 gelangte Friedrich V. auf den Thron, der eine Abkehr vom Pietismus vollzog, 1749 Det Kongelige Teater auf Kongens Nytorv in Kopenhagen eröffnete und Theater sowie Oper wieder erlaubte. Der Musikgeschmack wandte sich der italienischen Oper und französischen Singspielen zu. Scheibe war ein unerbittlicher Gegner neuer italienischer Opernmusik und wurde 1748 entlassen. Sein Nachfolger wurde Paolo Scalabrini.
Scheibe verdingte sich in Sønderborg als Musikpädagoge und Übersetzer dänischer Schriftsteller ins Deutsche. Er hielt jedoch seine Kontakte zum kopenhagener Musikleben aufrecht, komponierte für den halböffentlichen „Det musikalske Selskab“ und anlässlich königlicher Feiertage gelegentlich Stücke für den Hof (die Trauerkantaten für König Friedrich V. und Königin Louisa gehören zu seinen Hauptwerken). 1749 veröffentlichte er seine Sammlung Neue Freymaurerlieder mit bequemen Melodien – 1746 war er in die Kopenhagener Loge Zorobabel aufgenommen worden.
Während dieser Zeit besuchte er Kopenhagen mehrfach, um die Aufführungen seiner Musik persönlich leiten zu können. 1762 zog er sich ganz dorthin zurück; 14 Jahre später verstarb er.
