Olá,
A definição do valor de p seria como a probabilidade do valor encontrado, ou superior, ser igual ao valor da hipótese nula. Neste caso a hipótese nula é que o valor da estimativa é igual a zero.
O outro ponto é o porque utiliza 0,05. Pelo que lembro no livro "Uma senhora bebe chá", no artigo do Fisher quando ele apresenta o teste de significância ele fala que uma coisa rara no experimento dele seria ocorrência de 1 para 20. Assim o que o Fisher colocou como raro no artigo é 0,05. Depois houve um replicação desta definição do experimento dele. (Esta fato não fui atrás de fontes, sendo assim pode só ser uma bom conto).