precision

-2熱

1答えて

最も近い0.05に丸めるには、0.05で除算してから0.05を掛けます。他の同様の質問に記載されています。 In [119]: (127.651//0.05)*0.05 Out[119]: 127.65 In [120]: (127.6501//0.05)*0.05 Out[120]: 127.65 In [121]: (127.65000001//0.05)*0.05 Out[12

1熱

3答えて

x64とx32でacos（double）の結果が異なるVisual Studio

acos(double) x64とx32 Visual Studioで異なる結果が得られます。 x64の上 printf("%.30g\n", double(acosl(0.49990774364240564))); printf("%.30g\n", acos(0.49990774364240564)); ：1.0473040763868076 x32の上：SSEとlinux4.4のx3

0熱

1答えて

Rの精度を小数点以下50桁まで変更する方法

反復計算を行うプログラムがありますが、精度が悪いと計算が非常に高速に停止します。だから、私はより良い精度を得る必要があります。私はすでにPythonで同じプログラムを持っており、この言語で私の解決策を使用することです：これを使用して with decimal.localcontext(): 、私は精度の値を選択することができますし、それ以下のすべてのコードが定義された精度を持ちます。誰かが

0熱

1答えて

QPFloat、128ビット浮動小数点ライブラリを使用してコンソールアプリケーションをコンパイルできません

ここは新しいです。私は困っています。私はかなり新しくC＃で、QPFloatライブラリ（https://sourceforge.net/p/qpfloat/home/Home/）を使って128ビットの浮動小数点演算をサポートしようとしています。 GitHub（https://github.com/coder0xff/QPFloat）にソースコードをダウンロードして解凍し、「QPFloat.sln」

2熱

1答えて

正規化操作を元に戻すときの精度問題

私はいくつかの正規化操作を行っていますが、驚いたことに、操作を元に戻そうとすると、既定の6小数点精度であるassert_array_almost_equalに対して100％の不一致が発生します。これはなぜ起こるのですか？それは私の最大値の精度に起因することができますか？もしそうなら、どのようにしてnumpy.ndarray.max()の精度を上げることができますか？ from __future__

3熱

2答えて

なぜそれが最大のダブル

#include <iostream> #include <limits> int main() { double d = std::numeric_limits<double>::max(); std::cout << std::to_string(d) << std::endl; std::cout << std::to_string(d - 1) <<

1熱

1答えて

REALがDOUBLEとして渡された場合、Fortranでどのようにチェックインできますか？

私はサブルーチンをFortranの別の呼び出しプログラムにリンクしています。私は呼び出しプログラムにアクセスできない。呼び出し元のプログラムは、ユーザー入力スイッチに応じて、単精度数値または倍精度数値のいずれかのプログラムを渡します。例えば、ここではいくつかのコード再び subroutine myCode(x) implicit double precision (a-h,o-z) ! do

0熱

1答えて

C++での8倍精度浮動小数点変数の宣言

より一般的な倍精度と長い倍精度、好ましくは8倍（256ビット）のようなものを格納できる浮動小数点変数を宣言したいと思います。約70桁の有効数字を与えるかもしれない。どのようにそのような変数を宣言しますか？そして、クロスプラットフォームのコンパイルが問題になるでしょうか（固定幅の整数とは対照的に）？ご迷惑をおかけして申し訳ありません。

0熱

1答えて

JDBCを使用して負のスケールと精度0を返すOracle DB

私のoracle DBのテーブルに、NUMBERのタイプの列を作成しましたが、この列の作成時に精度と位取りを空白のままにしました。 java.sqlのResultSetMetadataクラスを使用してカラム情報を取得していたとき、カラム精度が0でスケールが-127であったことがわかりました。のOracleドキュメントは精度とスケール指示子が存在しない場合は、Oracle番号の最大範囲及び精度を

-1熱

2答えて

Pythonの小数は、私は次の計算に問題があるんだ、誤った結果に

を与える：代わりに1.0を返すの Decimal(3)*(Decimal(1)/Decimal(3)) を、それが0.999を返す... これは、いくら私の場合残っていませんDecimalモジュールの精度を上げてください。ここでは完全なコードです：皮肉なこと from decimal import Decimal from decimal import getcontext getcon