Olá, Diego!
Uma class library com o acesso a dados separado do seu website não só é possível, como também recomendável. Assim, você pode deixar seu website acessando sua web API e livre de qualquer referência a acesso a dados. Por falar nisso, como está seu projeto do Azure? Se você já tem uma conta no Azure, basta você criar um novo projeto web, que na dialog aparece a opção "Host in the cloud", permitindo que você coloque o seu projeto na nuvem desde o início. Esse é o caminho mais fácil. Se não tiver uma conta no Azure, crie uma conta gratuita (e fique atento ao prazo de utilização do acesso gratuito). Se você escolher hospedar sua aplicação web na nuvem, o Visual Studio vai perguntar qual seu servidor de banco de dados, e permitir que você o crie se não existir. Aí você informa seu usuário e senha previamente cadastrados no Azure, e a partir daí começa a usar a conexão com o banco de dados na nuvem, desde o começo do seu projeto. Para mais informações sobre configurar bancos de dados no Azure, veja a documentação da Microsoft: https://docs.microsoft.com/pt-br/azure/sql-database/sql-database-get-started
Boa sorte!