Perguntas com a marcação «precision»

Eu quero aser arredondado para 13,95 . >>> a 13.949999999999999 >>> round(a, 2) 13.949999999999999 A roundfunção não funciona da maneira que eu esperava.

1691 python  floating-point  rounding  precision 

Eu li sobre a diferença entre precisão dupla e precisão única. No entanto, na maioria dos casos, floate doubleparece ser intercambiável, ou seja, o uso de um ou de outro não parece afetar os resultados. É este realmente o caso? Quando os carros alegóricos e duplos são intercambiáveis? Quais são …

420 c++  c  floating-point  precision 

Então, eu recebi a resposta para minha última pergunta (não sei por que não pensei nisso). Eu estava imprimindo um doubleuso coutque era arredondado quando não esperava. Como faço para coutimprimir doubleusando precisão total?

332 c++  floating-point  precision  iostream  cout 

Eu queria exibir um número com 2 casas decimais. Eu pensei que poderia usar toPrecision(2)em JavaScript. No entanto, se o número for 0.05, eu entendo 0.0500. Eu prefiro que continue o mesmo. Veja no JSbin . Qual é a melhor maneira de fazer isso? Posso pensar em codificar algumas soluções, …

316 javascript  floating-point  precision 

Eu tenho a seguinte coluna especificada em um banco de dados: decimal (5,2) Como se interpreta isso? De acordo com as propriedades da coluna, como visualizadas no SQL Server Management studio, posso ver que isso significa: decimal (precisão numérica, escala numérica). O que precisão e escala significam em termos reais? …

245 sql  database  decimal  scale  precision 

Como posso exatamente construir um carimbo de data / hora com precisão de milissegundos? Preciso de algo como 16.4.2013 9: 48: 00: 123. Isso é possível? Eu tenho um aplicativo, onde colho exemplos de valores 10 vezes por segundo e preciso mostrá-los em um gráfico.

231 c#  datetime  precision  milliseconds 

Por que alguns números perdem a precisão quando armazenados como números de ponto flutuante? Por exemplo, o número decimal 9.2pode ser expresso exatamente como uma razão de dois números inteiros decimais ( 92/10), os quais podem ser expressos exatamente em binário ( 0b1011100/0b1010). No entanto, a mesma proporção armazenada como …

198 floating-point  language-agnostic  precision 

Eu estou tentando obter a soma de 1 + 2 + ... + 1000000000, mas estou obtendo resultados engraçados em PHP e Node.js . PHP $sum = 0; for($i = 0; $i <= 1000000000 ; $i++) { $sum += $i; } printf("%s", number_format($sum, 0, "", "")); // 500000000067108992 Node.js var …

192 php  node.js  precision  integer-overflow  integer-arithmetic 

Recentemente, tive que serializar um duplo no texto e depois recuperá-lo. O valor parece não ser equivalente: double d1 = 0.84551240822557006; string s = d1.ToString("R"); double d2 = double.Parse(s); bool s1 = d1 == d2; // -> s1 is False Mas, de acordo com o MSDN: Strings de formato numérico …

185 c#  double  tostring  precision 

Qual é a diferença entre uma operação de ponto flutuante de precisão única e operação flutuante de precisão dupla? Estou especialmente interessado em termos práticos em relação aos consoles de videogame. Por exemplo, o Nintendo 64 tem um processador de 64 bits e, se isso acontecer, isso significaria que era …

169 floating-point  precision  processor  operations 

Não, essa não é outra pergunta "Por que (1 / 3,0) * 3! = 1" . Ultimamente tenho lido sobre pontos flutuantes; especificamente, como o mesmo cálculo pode fornecer resultados diferentes em diferentes arquiteturas ou configurações de otimização. Esse é um problema para jogos de vídeo que armazenam replays ou …

155 c#  .net  floating-point  precision  ieee-754 

Eu sei que o 0.1número decimal não pode ser representado exatamente com um número binário finito ( explicação ), por double n = 0.1isso perderá alguma precisão e não será exatamente 0.1. Por outro lado, 0.5pode ser representado exatamente porque é 0.5 = 1/2 = 0.1b. Dito isto, é compreensível …

152 java  floating-point  double  precision 

public class doublePrecision { public static void main(String[] args) { double total = 0; total += 5.6; total += 5.8; System.out.println(total); } } O código acima é impresso: 11.399999999999 Como eu conseguiria isso para imprimir (ou poder usá-lo como) 11.4?

149 java  floating-point  double  precision 

Eu sou novo em JavaScript e acabei de descobrir toFixed()e toPrecision()arredondar números. No entanto, não consigo descobrir qual é a diferença entre os dois. Qual é a diferença entre number.toFixed()e number.toPrecision()?

124 javascript  rounding  precision 

Existe uma opção em R para obter controle sobre a exibição de dígitos. Por exemplo: options(digits=10) deve fornecer os resultados do cálculo em 10 dígitos até o final da sessão R. No arquivo de ajuda de R, a definição do parâmetro de dígitos é a seguinte: dígitos: controla o número …

110 r  precision  digits  r-faq  output-formatting