Para quem tiver interesse, pesquisei e vi algumas libs para visualizar as docstrings em formato HTML. Escolhi a pdoc por ser bem simples de configurar.
Para instalar, execute:
pip install pdoc
Para gerar a doc, execute:
pdoc --output-dir docs app.py
app.py é o nome do arquivo onde tem todas as funções que documentei.
Será gerada uma pasta chamada docs onde tem um arquivo html que pode ser redenrizado.