Eccard procedía de Mühlhausen, en Turingia. En estilo humanista, se escribió a sí mismo "Johannes Eccardus Mulhusinus". Fue niño de coro en la capilla de la corte de Weimar y luego en la de Múnich hasta 1574 como alumno de Orlando di Lasso. Ya había producido dos colecciones de composiciones de canciones cuando recibió su primer nombramiento en 1576-1579 como organista en la casa Fugger de Augsburgo. En 1580 fue nombrado Kapellmeister del duque de Prusia en Königsberg. El duque estaba enfermo y su primo, el margrave Georg Friedrich von Ansbach-Bayreuth, que también tenía su propia capilla bajo la dirección de Theodoro Riccio, gobernó en su lugar. Eccard fue inicialmente director adjunto y siguió siéndolo tras la marcha de Riccio, no convirtiéndose en director de la corte hasta 1604. El duque de Prusia era un luterano estricto; la tarea de Eccard era principalmente la música de iglesia. En ocasiones, su orquesta estaba formada por 5-7 cantantes profesionales (contralto, tenor, bajo), 5-6 escolanos (discantus) y 2-3 instrumentistas.

Las composiciones de Eccard aparecieron impresas en varias obras recopiladas, y también creó numerosas piezas ocasionales, la mayoría para bodas. Algunas obras no se publicaron hasta después de la muerte de Eccard, editadas por su colega y antiguo alumno J. Stobaeus. La fama de Eccard se basaba en su maestría en la composición de canciones ornamentadas.

Con motivo de un cambio de gobierno, Eccard se convirtió en 1608 en Kapellmeister de la Corte Electoral de Brandeburgo en Berlín. No se conocen composiciones de este periodo hasta su muerte en 1611.