Fu il primo disco di Ray Charles che attirò l'attenzione del pubblico bianco, ma gli elementi gospel provocarono disagio in parte degli ascoltatori di colore; Charles più tardi affermò che l'unione di diversi generi musicali non fu una decisione voluta.
Alla fine What'd I Say raggiunse la prima posizione della classifica Hot R&B Sides, la sesta della Billboard Hot 100 e divenne il primo disco d'oro della carriera di Ray Charles, oltre alla canzone dai maggiori incassi per la Atlantic Records in quel periodo.
Ray Charles era consapevole del problema, ma difendeva il suo lavoro: «Non sono abituato a interpretare le mie canzoni, ma se non riesci a capire What'd I Say, allora c'è qualcosa che non va, o non sei abituato ai dolci suoni dell'amore.»
Nel febbraio 1959 Charles e la sua orchestra registrarono finalmente What'd I Say nella piccola sala della Atlantic.
What'd I Say è stata oggetto di cover da parte di molti artisti di diversi stili musicali.
Il critico Nelson George pensa invece il contrario e usa Ray Charles e la sua canzone come esempi; George scrive che i temi nelle opere del cantante di Albany erano molto simili ai giovani ribelli e resero popolare il rock and roll.
