android开发36.66浮点数计算精度问题

  • 在开发中金额计算是常见的，今天偶尔发现一个挺奇怪的浮点数计算精度问题

    36.66 x 100 取整后得到 3666 ？？？

    我也理所当然地认为是3666，然后就直接使用Int接收结果，然而结果是3665 。

    然后发现36.66 x 100的结果是3665.99999999995

    使用Int接收当然是3665了。

  • 知道原因是浮点数计算精度问题了，使用四舍五入即可得到正确结果。即用roundToInt方法而不是toInt方法转化接收结果(kotlin语法)

  • 好奇的是，试了其他的比如16.66，26.66等.66数字 乘以100直接toInt转为Int后结果是预期正确的，唯有36.66乘以100直接toInt得到3665。神奇的计算精度问题，具体原因可能要深入二进制世界去了。。。

posted @   yongfengnice  阅读(426)  评论(0)  编辑  收藏  举报
编辑推荐：
· Linux系列：如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列（二）：开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识（上）
阅读排行：
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布：重大改进与新特性概览！
· 单线程的Redis速度为什么快？
· 展开说说关于C#中ORM框架的用法！
· Pantheons：用 TypeScript 打造主流大模型对话的一站式集成库
历史上的今天：
2020-02-19 mac上使用Xcode编译调试LearnOpenGL源代码的方法
2019-02-19 android使用DialogFragment出现java.lang.IllegalStateException: Can not perform this action after onSaveInstanceState的解决方法
2019-02-19 android控件ViewPager动态添加删除一条数据
点击右上角即可分享
微信分享提示