Explicação Simplificada:
Widget de fato faz referências a elementos visuais, pelas subclasses de View, como exemplo os elementos: Button, ListView, TextView.
View por sua vez é como uma base para construção de widgets, hierarquicamente ela é o começo de toda representação gráfica UI na aplicação Android. 
Explicação mais Profunda:
Esta classe representa o bloco básico de construção dos componentes da interface do usuário. Uma View ocupa uma área retangular na tela e é responsável pelo desenho e manuseio de eventos. A View é a classe base para widgets, que são usados para criar componentes interativos de interface do usuário (botões, campos de texto, etc.). A subclasse ViewGroup é a classe base para layouts, que são recipientes invisíveis que contêm outras Views (ou outros ViewGroups) e definem suas propriedades de layout. 
Fonte de referência:
https://developer.android.com/reference/android/view/View
Espero ter respondido sua dúvida, vou deixar meu GitHub caso precise de mais explanações.
https://github.com/androidavid