请选择 进入手机版 | 继续访问电脑版

技术控

    今日:0| 主题:61300
收藏本版 (1)
最新软件应用技术尽在掌握

[其他] Haskell SuperBuffer

[复制链接]
你穿过的墙 发表于 2016-12-2 06:58:12
108 2
Haskell SuperBuffer

  The    superbufferpackages was designed to efficiently build up bytestrings from    IOactions producing smaller chunks. The goal was to reduce memory overhead as much as possible while still being as fast as possible. In our use case, it reduced total memory usage of the program from    350 MB(    bytestringbuilder) to    50 MB(    superbuffer). For speed see benchmarks below. Note that the speed heavily depends on a good choice of the initial buffer size and the size of the chunks written. For small chunks the    superbufferoutperforms the    bytestringalternatives consistently. Note that the library is currently not thread-safe, but it seems that it could be added (from outside) easily by making sure only one thread at a time can call    appendBuffer(making the call slower).  
  Usage

  1. {-# LANGUAGE OverloadedStrings #-}
  2. module Example where
  3. import Data.ByteString.SuperBuffer
  4. import qualified Data.ByteString as BS
  5. myBS :: IO BS.ByteString
  6. myBS =
  7.     -- note: performance of superbuffer heavily depends on a
  8.     -- smart choice of the initial buffer size. Benchmark to
  9.     -- find what suits your needs.
  10.     withBuffer 1024 $ \buf ->
  11.     do appendBuffer buf "Hello "
  12.        appendBuffer buf "World!"
复制代码
Benchmarks

  1. benchmarking main/small/superbuffer (init=128 bytes)
  2. time                 22.20 ms   (20.81 ms .. 24.69 ms)
  3.                      0.973 R²   (0.946 R² .. 0.992 R²)
  4. mean                 22.47 ms   (21.70 ms .. 23.45 ms)
  5. std dev              1.905 ms   (1.515 ms .. 2.685 ms)
  6. variance introduced by outliers: 38% (moderately inflated)
  7. benchmarking main/small/superbuffer (init=4000 bytes)
  8. time                 19.92 ms   (19.28 ms .. 20.58 ms)
  9.                      0.996 R²   (0.993 R² .. 0.998 R²)
  10. mean                 22.30 ms   (21.56 ms .. 23.60 ms)
  11. std dev              2.230 ms   (1.324 ms .. 3.614 ms)
  12. variance introduced by outliers: 46% (moderately inflated)
  13. benchmarking main/small/superbuffer (init=8000 bytes)
  14. time                 22.72 ms   (21.85 ms .. 23.92 ms)
  15.                      0.994 R²   (0.989 R² .. 0.997 R²)
  16. mean                 23.25 ms   (22.73 ms .. 23.95 ms)
  17. std dev              1.496 ms   (1.007 ms .. 2.375 ms)
  18. variance introduced by outliers: 24% (moderately inflated)
  19. benchmarking main/small/superbuffer (init=16000 bytes)
  20. time                 23.28 ms   (21.77 ms .. 25.14 ms)
  21.                      0.978 R²   (0.953 R² .. 0.994 R²)
  22. mean                 23.41 ms   (22.79 ms .. 24.34 ms)
  23. std dev              1.727 ms   (1.209 ms .. 2.455 ms)
  24. variance introduced by outliers: 29% (moderately inflated)
  25. benchmarking main/small/superbuffer (init=20000000 bytes)
  26. time                 35.78 ms   (34.57 ms .. 37.21 ms)
  27.                      0.989 R²   (0.972 R² .. 0.998 R²)
  28. mean                 36.45 ms   (35.25 ms .. 37.34 ms)
  29. std dev              2.167 ms   (1.281 ms .. 3.677 ms)
  30. variance introduced by outliers: 18% (moderately inflated)
  31. benchmarking main/small/bytestring builder
  32. time                 31.34 ms   (28.98 ms .. 33.54 ms)
  33.                      0.987 R²   (0.974 R² .. 0.999 R²)
  34. mean                 30.73 ms   (29.54 ms .. 31.59 ms)
  35. std dev              2.205 ms   (1.699 ms .. 2.841 ms)
  36. variance introduced by outliers: 28% (moderately inflated)
  37. benchmarking main/small/bytestring fromChunks
  38. time                 26.35 ms   (25.53 ms .. 27.40 ms)
  39.                      0.996 R²   (0.991 R² .. 0.999 R²)
  40. mean                 26.35 ms   (25.88 ms .. 27.79 ms)
  41. std dev              1.685 ms   (675.3 μs .. 3.068 ms)
  42. variance introduced by outliers: 25% (moderately inflated)
  43. benchmarking main/small/bytestring concat
  44. time                 30.54 ms   (29.83 ms .. 31.13 ms)
  45.                      0.998 R²   (0.997 R² .. 0.999 R²)
  46. mean                 31.45 ms   (30.94 ms .. 33.55 ms)
  47. std dev              1.658 ms   (563.0 μs .. 3.317 ms)
  48. variance introduced by outliers: 17% (moderately inflated)
  49. benchmarking main/med/superbuffer (init=128 bytes)
  50. time                 20.98 ms   (20.11 ms .. 21.97 ms)
  51.                      0.992 R²   (0.983 R² .. 0.997 R²)
  52. mean                 23.11 ms   (22.53 ms .. 24.12 ms)
  53. std dev              1.686 ms   (1.020 ms .. 2.914 ms)
  54. variance introduced by outliers: 29% (moderately inflated)
  55. benchmarking main/med/superbuffer (init=40000 bytes)
  56. time                 21.62 ms   (20.92 ms .. 22.43 ms)
  57.                      0.996 R²   (0.991 R² .. 0.998 R²)
  58. mean                 23.65 ms   (23.06 ms .. 24.72 ms)
  59. std dev              1.735 ms   (1.044 ms .. 2.732 ms)
  60. variance introduced by outliers: 29% (moderately inflated)
  61. benchmarking main/med/superbuffer (init=80000 bytes)
  62. time                 20.65 ms   (19.91 ms .. 21.35 ms)
  63.                      0.994 R²   (0.985 R² .. 0.998 R²)
  64. mean                 22.64 ms   (22.09 ms .. 23.84 ms)
  65. std dev              1.767 ms   (971.0 μs .. 3.008 ms)
  66. variance introduced by outliers: 33% (moderately inflated)
  67. benchmarking main/med/superbuffer (init=160000 bytes)
  68. time                 23.35 ms   (22.15 ms .. 24.56 ms)
  69.                      0.992 R²   (0.987 R² .. 0.998 R²)
  70. mean                 22.50 ms   (22.15 ms .. 23.08 ms)
  71. std dev              1.038 ms   (639.2 μs .. 1.502 ms)
  72. variance introduced by outliers: 14% (moderately inflated)
  73. benchmarking main/med/superbuffer (init=20000000 bytes)
  74. time                 35.02 ms   (31.20 ms .. 37.83 ms)
  75.                      0.983 R²   (0.970 R² .. 0.998 R²)
  76. mean                 32.02 ms   (31.12 ms .. 33.32 ms)
  77. std dev              2.159 ms   (1.456 ms .. 3.304 ms)
  78. variance introduced by outliers: 24% (moderately inflated)
  79. benchmarking main/med/bytestring builder
  80. time                 22.03 ms   (21.53 ms .. 22.48 ms)
  81.                      0.998 R²   (0.997 R² .. 0.999 R²)
  82. mean                 22.50 ms   (22.06 ms .. 23.71 ms)
  83. std dev              1.614 ms   (467.3 μs .. 3.159 ms)
  84. variance introduced by outliers: 29% (moderately inflated)
  85. benchmarking main/med/bytestring fromChunks
  86. time                 23.88 ms   (21.62 ms .. 26.14 ms)
  87.                      0.975 R²   (0.954 R² .. 0.998 R²)
  88. mean                 22.81 ms   (22.25 ms .. 23.95 ms)
  89. std dev              1.812 ms   (784.9 μs .. 2.692 ms)
  90. variance introduced by outliers: 33% (moderately inflated)
  91. benchmarking main/med/bytestring concat
  92. time                 21.79 ms   (21.28 ms .. 22.23 ms)
  93.                      0.998 R²   (0.997 R² .. 0.999 R²)
  94. mean                 22.52 ms   (22.05 ms .. 23.70 ms)
  95. std dev              1.646 ms   (554.1 μs .. 3.042 ms)
  96. variance introduced by outliers: 29% (moderately inflated)
  97. benchmarking main/large/superbuffer (init=128 bytes)
  98. time                 25.97 ms   (25.22 ms .. 26.62 ms)
  99.                      0.994 R²   (0.984 R² .. 0.999 R²)
  100. mean                 26.01 ms   (25.18 ms .. 26.90 ms)
  101. std dev              1.943 ms   (1.274 ms .. 3.107 ms)
  102. variance introduced by outliers: 30% (moderately inflated)
  103. benchmarking main/large/superbuffer (init=400000 bytes)
  104. time                 21.51 ms   (21.13 ms .. 21.88 ms)
  105.                      0.999 R²   (0.997 R² .. 1.000 R²)
  106. mean                 22.14 ms   (21.84 ms .. 22.75 ms)
  107. std dev              939.7 μs   (407.0 μs .. 1.669 ms)
  108. variance introduced by outliers: 14% (moderately inflated)
  109. benchmarking main/large/superbuffer (init=800000 bytes)
  110. time                 21.76 ms   (21.35 ms .. 22.34 ms)
  111.                      0.997 R²   (0.995 R² .. 0.999 R²)
  112. mean                 22.09 ms   (21.77 ms .. 22.54 ms)
  113. std dev              858.0 μs   (532.7 μs .. 1.421 ms)
  114. variance introduced by outliers: 14% (moderately inflated)
  115. benchmarking main/large/superbuffer (init=1600000 bytes)
  116. time                 31.34 ms   (30.55 ms .. 32.36 ms)
  117.                      0.997 R²   (0.992 R² .. 0.999 R²)
  118. mean                 30.42 ms   (29.34 ms .. 31.35 ms)
  119. std dev              2.043 ms   (1.383 ms .. 3.018 ms)
  120. variance introduced by outliers: 22% (moderately inflated)
  121. benchmarking main/large/superbuffer (init=20000000 bytes)
  122. time                 38.79 ms   (36.27 ms .. 41.72 ms)
  123.                      0.983 R²   (0.964 R² .. 0.995 R²)
  124. mean                 33.84 ms   (32.32 ms .. 35.51 ms)
  125. std dev              3.268 ms   (2.816 ms .. 3.755 ms)
  126. variance introduced by outliers: 36% (moderately inflated)
  127. benchmarking main/large/bytestring builder
  128. time                 21.89 ms   (21.35 ms .. 22.37 ms)
  129.                      0.998 R²   (0.995 R² .. 0.999 R²)
  130. mean                 23.02 ms   (22.46 ms .. 24.92 ms)
  131. std dev              2.169 ms   (461.3 μs .. 4.197 ms)
  132. variance introduced by outliers: 43% (moderately inflated)
  133. benchmarking main/large/bytestring fromChunks
  134. time                 21.91 ms   (21.49 ms .. 22.31 ms)
  135.                      0.999 R²   (0.998 R² .. 0.999 R²)
  136. mean                 22.47 ms   (22.13 ms .. 23.63 ms)
  137. std dev              1.230 ms   (383.5 μs .. 2.326 ms)
  138. variance introduced by outliers: 19% (moderately inflated)
  139. benchmarking main/large/bytestring concat
  140. time                 22.12 ms   (21.82 ms .. 22.42 ms)
  141.                      0.999 R²   (0.998 R² .. 1.000 R²)
  142. mean                 22.60 ms   (22.27 ms .. 23.51 ms)
  143. std dev              1.198 ms   (404.6 μs .. 2.244 ms)
  144. variance introduced by outliers: 19% (moderately inflated)
复制代码
姜祯禹 发表于 2016-12-2 09:23:14
看帖要回,回帖才健康,我使劲踩,楼主辛苦了!
回复 支持 反对

使用道具 举报

孤晴 发表于 2016-12-6 02:27:25
你嘴角三十度的微笑,百度搜索不到。
回复 支持 反对

使用道具 举报

我要投稿

回页顶回复上一篇下一篇回列表
手机版/c.CoLaBug.com ( 粤ICP备05003221号 | 文网文[2010]257号 | 粤公网安备 44010402000842号 )

© 2001-2017 Comsenz Inc.

返回顶部 返回列表