Empezó jugando en la NBA en 1970 bajo la propiedad de Nick Mileti. Por entonces, jugaban sus partidos en casa en el Cleveland Arena y eran entrenados por Bill Fitch, cosechando un balance de 15-67 en su primera temporada en la liga. Tras elegir en el Draft de 1970 con el número 1 a Austin Car, comenzaron a construir el equipo en torno a él; sin embargo, las continuas lesiones que le asediaron fueron un impedimento para que se convirtiera en un jugador de la élite.
Las siguientes temporadas fueron mejores para los Cavaliers, que año a año se iban reforzando con jugadores como Bingo Smith, Jim Chones, Jim Dimons y Dick Snyder. Cleveland consiguió un récord de 23-59 en su segunda temporada en la NBA, siguiendo con un 32-50 en la 1972-73 y con un pequeño bajón en la1973-74: 29-53. En 1974, el equipo se mudó a jugar al Coliseun at Ritchfield, localizado en Summit County. Ese año, finalizaron con un 40-42, quedándo a un paso de disputar los playoffs por primera vez.
En la primera ronda eliminaron a Washington Bullets por 4-3. A causa de varias acciones arriesgadas y canastas en los últimos segundos, la serie fue conocida como "El Milagro de Richfield". Sin embargo, debido a las lesiones, en especial la de Jim Chones, los Cavs cayeron en las Finales del Este ante Boston Celtics.
Cleveland ganó 43 partidos las dos temporadas siguientes (1976-77 y 1977-78), pero en ambas fracasaron en la postem
porada. Tras un balance de 30-52 en lacampaña 1978-79, Fitch dejó el equipo. Al año siguiente, con Stan Albeck como entrenador, los Cavs cosecharon 37 victorias y 45 derrotas, por lo que el propietario original Mileti vendió sus acciones a Joe Zingale, nuevo dueño del equipo.
El estadio actual de los Cleveland Cavaliers, es Quicken Loans Arena (1994-presente).
Quicken Loans Arena (antes Gund Arena), pabellón de los Cavs desde 1994.En 1986, bajo la propiedad de los hermanos Gund, el equipo adquirió, mediante traspasos o elecciones de draft, a Brad Dougherty, Mark Price y Ron Harper. Aquellos jugadores (excepto Harper, que fue traspasado a Los Angeles Clippers a cambio de los derechos de Danny Ferry), formaron el corazón del equipo, bajo la tutela del entrenador Lenny Wilkens, quien lideró al equipo ha ocho temporadas alcanzando los playoffs en nueve años, incluyendo tres campañas de 50 o más victorias.
Sin embargo, en 1989, los Cavs fueron eliminados de los playoffs en primera ronda por Chicago Bulls. En el cuarto encuentro de la serie, Cleveland consiguió ganar 108-105 a los Bulls igualando la serie a 2. La ventaja de campo era para los Cavs. Ya en el quinto y definitivo partido, Michael Jordan logró anotar una canasta en la bocina sobre Craig Ehlo y eliminar a los Cavs en el último suspiro. Con "El Tiro", como se conoció a la canasta, puso la eliminatoria 3-2 a favor de los "toros", y esta considerada una de las mejores buzzer-beaters (canastas sobre la bocina) de todos los tiempos. Pero la cima del éxito del equipo se vio en la temporada 1992-93, en la que los Cavs consiguieron un balance de 57-25 y avanzaron a las Finales de Conferencia, cayendo eliminados con Chicago (4-3).
A partir de entonces, los Cavs entraron en un periodo de decadencia. Con las retiradas y marchas de Nance, Daugherty y Price, el equipo perdió parte de su predominio y no fue capaz de llegar más halla de la primera ronda de playoffs en la mayoría de las siguientes temporadas. En la campaña de 1992-93, el equipo logró un 54-28, pero fue eliminado por los Bulls en las Semifinales de Conferencia, por un humillante 4-0. Tras ello, Lenny Wilkens se marchó a Atlanta Hawks.
Mike Fratello fue el encargado de suceder a Wilkens en la temporada 1993-94. Los Cavs se convirtieron en uno de los mejores equipos defensivos de la liga bajo el liderazgo de su base Terrel Brandon. En ataque, en cambio, el equipo flojeaba más, siendo lentos y controlando el tempo del juego en todo momento. Aunque no tuvieran problemas para alcanzar la postemporada, el equipo no superaba la primera ronda.
En 1994, el equipo se mudó al pabellón Gund Arena, en el centro de la ciudad, donde cabian 20.562 espectadores. En 1997 hizo de anfitrión para el All-Star Game, además de para el nombramiento de los 50 mejores jugadores de la historia de la NBA.
Posteriormente, los jugadores Shawn Kemp, Ricky Davis y Zydruna Ilgauskas dieron más calidad al equipo, aunque sin lograr el éxito.
Varias temporadas consecutivas hicieron caer a los Cavs a las profundidades de la liga, convirtiéndose en un equipo de lotería de draft. Tras otra campaña decepcionante en la 2002-03, los Cavs consiguieron el número 1 del Draft de 2003, seleccionando a LeBron James, procedente del instituto.
