大数据处理

时间:14-07-10 栏目:大数据 作者:爱说云网 评论:0 点击: 2,000 次

本文标签： ,

java.util.BitSet可以按位存储。
计算机中一个字节（byte）占8位（bit），我们java中数据至少按字节存储的，
比如一个int占4个字节。
如果遇到大的数据量，这样必然会需要很大存储空间和内存。
如何减少数据占用存储空间和内存可以用算法解决。
java.util.BitSet就提供了这样的算法。
比如有一堆数字，需要存储，source=[3,5,6,9]
用int就需要4*4个字节。
java.util.BitSet可以存true/false。
如果用java.util.BitSet，则会少很多，其原理是：
1，先找出数据中最大值maxvalue=9
2，声明一个BitSet bs,它的size是maxvalue+1=10
3，遍历数据source，bs[source[i]]设置成true.
最后的值是：
(0为false;1为true)
bs [0,0,0,1,0,1,1,0,0,1]
3,   5,6,       9

这样一个本来要int型需要占4字节共32位的数字现在只用了1位！
比例32:1  
这样就省下了很大空间。

看看测试例子

[html] view plaincopy

  1. package com;  
  2.   
  3. import java.util.BitSet;  
  4.   
  5. public class MainTestThree {  
  6.   
  7.     /**  
  8.      * @param args  
  9.      */  
  10.     public static void main(String[] args) {  
  11.         BitSet bm=new BitSet();  
  12.         System.out.println(bm.isEmpty()+"--"+bm.size());  
  13.         bm.set(0);  
  14.         System.out.println(bm.isEmpty()+"--"+bm.size());  
  15.         bm.set(1);  
  16.         System.out.println(bm.isEmpty()+"--"+bm.size());  
  17.         System.out.println(bm.get(65));  
  18.         System.out.println(bm.isEmpty()+"--"+bm.size());  
  19.         bm.set(65);  
  20.         System.out.println(bm.isEmpty()+"--"+bm.size());  
  21.     }  
  22.   
  23. }  

 输出：
true--64
false--64
false--64
false
false--64
false--128

说明默认的构造函数声明一个64位的BitSet，值都是false。
如果你要用的位超过了默认size,它会再申请64位，而不是报错。

[html] view plaincopy

  1. package com;  
  2.   
  3. import java.util.BitSet;  
  4.   
  5. public class MianTestFour {  
  6.   
  7.     /**  
  8.      * @param args  
  9.      */  
  10.     public static void main(String[] args) {  
  11.         BitSet bm1=new BitSet(7);  
  12.         System.out.println(bm1.isEmpty()+"--"+bm1.size());  
  13.           
  14.         BitSet bm2=new BitSet(63);  
  15.         System.out.println(bm2.isEmpty()+"--"+bm2.size());  
  16.           
  17.         BitSet bm3=new BitSet(65);  
  18.         System.out.println(bm3.isEmpty()+"--"+bm3.size());  
  19.           
  20.         BitSet bm4=new BitSet(111);  
  21.         System.out.println(bm4.isEmpty()+"--"+bm4.size());  
  22.     }  
  23.   
  24. }  

输出：
true--64
true--64
true--128
true--128

说明你申请的位都是以64为倍数的，就是说你申请不超过一个64的就按64算，超过一个不超过
2个的就按128算。

[html] view plaincopy

  1. package com;  
  2.   
  3. import java.util.BitSet;  
  4.   
  5. public class MainTestFive {  
  6.   
  7.     /**  
  8.      * @param args  
  9.      */  
  10.     public static void main(String[] args) {  
  11.         int[] shu={2,42,5,6,6,18,33,15,25,31,28,37};  
  12.         BitSet bm1=new BitSet(MainTestFive.getMaxValue(shu));  
  13.         System.out.println("bm1.size()--"+bm1.size());  
  14.           
  15.         MainTestFive.putValueIntoBitSet(shu, bm1);  
  16.         printBitSet(bm1);  
  17.     }  
  18.       
  19.     //初始全部为false，这个你可以不用，因为默认都是false  
  20.     public static void initBitSet(BitSet bs){  
  21.         for(int i=0;i<bs.size();i++){  
  22.             bs.set(i, false);  
  23.         }  
  24.     }  
  25.     //打印  
  26.     public static void printBitSet(BitSet bs){  
  27.         StringBuffer buf=new StringBuffer();  
  28.         buf.append("[n");  
  29.         for(int i=0;i<bs.size();i++){  
  30.             if(i<bs.size()-1){  
  31.                 buf.append(MainTestFive.getBitTo10(bs.get(i))+",");  
  32.             }else{  
  33.                 buf.append(MainTestFive.getBitTo10(bs.get(i)));  
  34.             }  
  35.             if((i+1)%8==0&&i!=0){  
  36.                 buf.append("n");  
  37.             }  
  38.         }  
  39.         buf.append("]");  
  40.         System.out.println(buf.toString());  
  41.     }  
  42.     //找出数据集合最大值  
  43.     public static int getMaxValue(int[] zu){  
  44.         int temp=0;  
  45.         temp=zu[0];  
  46.         for(int i=0;i<zu.length;i++){  
  47.             if(temp<zu[i]){  
  48.                 temp=zu[i];  
  49.             }  
  50.         }  
  51.         System.out.println("maxvalue:"+temp);  
  52.         return temp;  
  53.     }  
  54.     //放值  
  55.     public static void putValueIntoBitSet(int[] shu,BitSet bs){  
  56.         for(int i=0;i<shu.length;i++){  
  57.             bs.set(shu[i], true);  
  58.         }  
  59.     }  
  60.     //true,false换成1,0为了好看  
  61.     public static String getBitTo10(boolean flag){  
  62.         String a="";  
  63.         if(flag==true){  
  64.             return "1";  
  65.         }else{  
  66.             return "0";  
  67.         }  
  68.     }  
  69.   
  70. }  

输出:
maxvalue:42
bm1.size()--64
[
0,0,1,0,0,1,1,0,
0,0,0,0,0,0,0,1,
0,0,1,0,0,0,0,0,
0,1,0,0,1,0,0,1,
0,1,0,0,0,1,0,0,
0,0,1,0,0,0,0,0,
0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0
]

这样便完成了存值和取值。
注意它会对重复的数字过滤，就是说，一个数字出现过超过2次的它都记成1.
出现的次数这个信息就丢了。

相关文章

大数据分析处理平台的调度应该具备什么能力？...
views 1844
 本文想讨论下大数据分析处理平台的调度从架构上看应该起到一个什么样的作用，达到一个什么样的能力。 谈调度之前，先说说大数据分析处理平台的定义：集成数据采集/导入/存储、高效统计分析/挖掘分析、结果数据可视化呈现等功能的一体化系统，它具有简单易用、高度管理、平滑扩展、定向定制、算法丰富、支持迁移、可视呈...
大数据 | 零售店铺十二大数据分析指标...
views 1733
 零售店铺一天生意的好坏，如何提升，要掌握分析好十二大数据指标。 一、营业额 （1）营业额反映了店铺的生意走势。 针对以往销售数据，结合地区行业的发展状况，通过对营业额的每天定期跟进，每周总结比较，以此来调整促销及推广活动。 （2）为店铺及员工设立销售目标。 根据营业额数...
存储领域6大技术的侵略势力
views 2002
 目前存储行业的中心范畴正处于六股实力的猛烈围攻之下，而且其间每股实力都雄心勃勃、期望能将作为现有存储阵列根底之中心网络文件存储及块存储阵列中的部分甚至一切计划彻底击退。 这些新近兴起的实力现已瞄准了块存储与文件存储阵列在数据拜访推迟以及运用本钱等方面存在的致命缺点; 此外现有计划通常在容量与性能的可...
欧美国家大数据战略及市场情况
views 1955
 大数据正逐渐走进社会经济生活的方方面面，科学研究、市场营销、客户服务、可持续发展、交通、医疗、教育等领域都有其用武之地。许多人相信，随着数据量的持续增长和分析工具的日益完善，大数据必将在未来社会中扮演者重要角色。 在欧美国家，有关大数据的讨论也正如火如荼： 一、国家战略 在欧美国家，大多数国家推出的...
NoSQL代表： Mongo DB（芒果数据库）
views 2142
 　一、MongoDB简介         MongoDB是一个基于分布式文件存储的数据库，由C++语言编写，旨在为WEB应用提供可扩展的高性能数据存储解决方案。其名字来自humongous这个单词的中间部分，从名字可见其野心所在就是海量数据的处理。（humongous：堆积如山）2011年将被记住，...
大数据引擎推动国家治理能力现代化-技术方案...
views 1609
 在全球化和信息化的背景下，中国作为一个“巨型国家”的“社会结构性”转型，是21世纪人类文明史上有着全球性影响的重大事件。对中国转型过程众多领域中的“海量信息”或“大数据”的正确解读，不仅对于中国国家治理能力的提高，实现社会的平稳转型产生决定性影响；而且也必将对“世界的合理化”程度和人类文明的进程与走...
试读《大数据时代的IT架构设计》
views 1698
 大数据”的概念是在最早经历信息爆炸的学科--天文学和基因学中提出来的，而今已经渗透到了各行各业和生活中的方方面面。牛津大学教授维克托曾在《大数据时代》一书中指出，通过对海量数据进行分析，能够获得有巨大价值的产品和服务，或深刻的洞见。大数据引起了商业变革，管理变革，以致思维变革。调整信息系统的架构，使...
云计算大数据联手PE资本 最佳投资时机来临...
views 1720
 　　5月20日-23日，第六届云计算大会在北京举行。大会上，中国电子学会与北京藏山资本投资有限公司共同发起成立“中国云计算、大数据产业发展基金”。藏山资本作为中国电子学会在云计算、大数据方面唯一的资本合作方，基金一期规模2亿元人民币，主要投资于国内云计算、大数据等产业领域的成长型优秀企业。 　　行业...

声明: 本文由( 爱说云网 )原创编译，转载请保留链接: 大数据处理

大数据处理：等您坐沙发呢！

发表评论


热门标签

读者排行

最新评论