Как добавить mp3 плеер на свой сайт? Чтобы был, как можно проще, но при этом максимально кастомизировался. Умел проигрывать всякие audio форматы (mp3,wma и т.д.).

Очень просто! Представляю  Вам замечательный аудио и видео проигрыватель jplayer. 

На сайте разработчика есть множество демо. Если кратко, то плеер умеет практически все. Проигрывать музыку и видео, поддерживает плейлисты, кастомные скины, свои элементы управления. Работает сие чудо на flash, но если браузер "в порядке" и умеет воспроизводить нужный формат из под коробки, то используется только браузер (html5). К примеру Опера не умеет проигрывать mp3, а вебкиты умеют. Полное описание поддерживаемых браузером фич есть в их руководстве