Основа фамилии малораспространенное православное крестильное имя Олимпий (от греческого Олимп — название горы, считавшейся местопребыванием богов). В акающих говорах начальное о заменилась на а, такая замена могла произойти как на стадии имени, так и на стадии фамилии.