Para adicionar uma explicação visual para isso: vamos considerar alguns pontos que você planeja modelar.
Eles parecem poder ser bem descritos com uma linha reta, então você deve ajustar uma regressão linear a eles:
Essa linha de regressão permite interpolar (gerar valores esperados entre os pontos de dados) e extrapolar (gerar valores esperados fora do intervalo dos pontos de dados). Eu destaquei a extrapolação em vermelho e a maior região de interpolação em azul. Para deixar claro, até as regiões minúsculas entre os pontos são interpoladas, mas estou destacando apenas a grande aqui.
Por que a extrapolação geralmente é mais uma preocupação? Porque você geralmente tem muito menos certeza sobre a forma do relacionamento fora do intervalo de seus dados. Considere o que pode acontecer quando você coletar mais alguns pontos de dados (círculos vazios):
Acontece que o relacionamento não foi bem capturado com o seu hipotético relacionamento, afinal. As previsões na região extrapolada estão muito longe. Mesmo que você tenha adivinhado a função precisa que descreve esse relacionamento não-linear corretamente, seus dados não se estendem acima de um intervalo suficiente para capturar bem a não-linearidade; portanto, você ainda pode estar muito distante. Observe que este é um problema não apenas para regressão linear, mas para qualquer relacionamento - é por isso que a extrapolação é considerada perigosa.
As previsões na região interpolada também estão incorretas devido à falta de não linearidade no ajuste, mas o erro de previsão é muito menor. Não há garantia de que você não tenha um relacionamento inesperado entre seus pontos (por exemplo, a região de interpolação), mas geralmente é menos provável.
Acrescentarei que a extrapolação nem sempre é uma péssima idéia - se você extrapolar um pouquinho fora do intervalo de seus dados, provavelmente não ficará muito errado (embora isso seja possível!). Antigos que não tinham um bom modelo científico do mundo não estariam muito errados se previssem que o sol nasceria novamente no dia seguinte e no dia seguinte (embora um dia no futuro, mesmo isso falhe).
E, às vezes, a extrapolação pode até ser informativa - por exemplo, extrapolações simples a curto prazo do aumento exponencial do CO atmosférico têm sido razoavelmente precisas nas últimas décadas. Se você fosse um estudante que não possuía conhecimentos científicos, mas desejasse uma previsão aproximada e de curto prazo, isso lhe daria resultados razoáveis. Porém, quanto mais longe você extrapolar seus dados, maior a probabilidade de sua previsão falhar e falhar desastrosamente, conforme descrito muito bem neste ótimo tópico: O que há de errado na extrapolação? (obrigado a @JMisnotastatistician por me lembrar disso).2
Edite com base nos comentários: seja interpolando ou extrapolando, é sempre melhor ter alguma teoria para fundamentar as expectativas. Se for necessário realizar modelagem sem teoria , o risco de interpolação é geralmente menor que o risco de extrapolação. Dito isto, à medida que a diferença entre os pontos de dados aumenta em magnitude, a interpolação também se torna cada vez mais repleta de riscos.