大数据处理

时间:14-07-10 栏目:大数据 作者:爱说云网 评论:0 点击: 1,818 次

本文标签： ,

java.util.BitSet可以按位存储。
计算机中一个字节（byte）占8位（bit），我们java中数据至少按字节存储的，
比如一个int占4个字节。
如果遇到大的数据量，这样必然会需要很大存储空间和内存。
如何减少数据占用存储空间和内存可以用算法解决。
java.util.BitSet就提供了这样的算法。
比如有一堆数字，需要存储，source=[3,5,6,9]
用int就需要4*4个字节。
java.util.BitSet可以存true/false。
如果用java.util.BitSet，则会少很多，其原理是：
1，先找出数据中最大值maxvalue=9
2，声明一个BitSet bs,它的size是maxvalue+1=10
3，遍历数据source，bs[source[i]]设置成true.
最后的值是：
(0为false;1为true)
bs [0,0,0,1,0,1,1,0,0,1]
3,   5,6,       9

这样一个本来要int型需要占4字节共32位的数字现在只用了1位！
比例32:1  
这样就省下了很大空间。

看看测试例子

[html] view plaincopy

  1. package com;  
  2.   
  3. import java.util.BitSet;  
  4.   
  5. public class MainTestThree {  
  6.   
  7.     /**  
  8.      * @param args  
  9.      */  
  10.     public static void main(String[] args) {  
  11.         BitSet bm=new BitSet();  
  12.         System.out.println(bm.isEmpty()+"--"+bm.size());  
  13.         bm.set(0);  
  14.         System.out.println(bm.isEmpty()+"--"+bm.size());  
  15.         bm.set(1);  
  16.         System.out.println(bm.isEmpty()+"--"+bm.size());  
  17.         System.out.println(bm.get(65));  
  18.         System.out.println(bm.isEmpty()+"--"+bm.size());  
  19.         bm.set(65);  
  20.         System.out.println(bm.isEmpty()+"--"+bm.size());  
  21.     }  
  22.   
  23. }  

 输出：
true--64
false--64
false--64
false
false--64
false--128

说明默认的构造函数声明一个64位的BitSet，值都是false。
如果你要用的位超过了默认size,它会再申请64位，而不是报错。

[html] view plaincopy

  1. package com;  
  2.   
  3. import java.util.BitSet;  
  4.   
  5. public class MianTestFour {  
  6.   
  7.     /**  
  8.      * @param args  
  9.      */  
  10.     public static void main(String[] args) {  
  11.         BitSet bm1=new BitSet(7);  
  12.         System.out.println(bm1.isEmpty()+"--"+bm1.size());  
  13.           
  14.         BitSet bm2=new BitSet(63);  
  15.         System.out.println(bm2.isEmpty()+"--"+bm2.size());  
  16.           
  17.         BitSet bm3=new BitSet(65);  
  18.         System.out.println(bm3.isEmpty()+"--"+bm3.size());  
  19.           
  20.         BitSet bm4=new BitSet(111);  
  21.         System.out.println(bm4.isEmpty()+"--"+bm4.size());  
  22.     }  
  23.   
  24. }  

输出：
true--64
true--64
true--128
true--128

说明你申请的位都是以64为倍数的，就是说你申请不超过一个64的就按64算，超过一个不超过
2个的就按128算。

[html] view plaincopy

  1. package com;  
  2.   
  3. import java.util.BitSet;  
  4.   
  5. public class MainTestFive {  
  6.   
  7.     /**  
  8.      * @param args  
  9.      */  
  10.     public static void main(String[] args) {  
  11.         int[] shu={2,42,5,6,6,18,33,15,25,31,28,37};  
  12.         BitSet bm1=new BitSet(MainTestFive.getMaxValue(shu));  
  13.         System.out.println("bm1.size()--"+bm1.size());  
  14.           
  15.         MainTestFive.putValueIntoBitSet(shu, bm1);  
  16.         printBitSet(bm1);  
  17.     }  
  18.       
  19.     //初始全部为false，这个你可以不用，因为默认都是false  
  20.     public static void initBitSet(BitSet bs){  
  21.         for(int i=0;i<bs.size();i++){  
  22.             bs.set(i, false);  
  23.         }  
  24.     }  
  25.     //打印  
  26.     public static void printBitSet(BitSet bs){  
  27.         StringBuffer buf=new StringBuffer();  
  28.         buf.append("[n");  
  29.         for(int i=0;i<bs.size();i++){  
  30.             if(i<bs.size()-1){  
  31.                 buf.append(MainTestFive.getBitTo10(bs.get(i))+",");  
  32.             }else{  
  33.                 buf.append(MainTestFive.getBitTo10(bs.get(i)));  
  34.             }  
  35.             if((i+1)%8==0&&i!=0){  
  36.                 buf.append("n");  
  37.             }  
  38.         }  
  39.         buf.append("]");  
  40.         System.out.println(buf.toString());  
  41.     }  
  42.     //找出数据集合最大值  
  43.     public static int getMaxValue(int[] zu){  
  44.         int temp=0;  
  45.         temp=zu[0];  
  46.         for(int i=0;i<zu.length;i++){  
  47.             if(temp<zu[i]){  
  48.                 temp=zu[i];  
  49.             }  
  50.         }  
  51.         System.out.println("maxvalue:"+temp);  
  52.         return temp;  
  53.     }  
  54.     //放值  
  55.     public static void putValueIntoBitSet(int[] shu,BitSet bs){  
  56.         for(int i=0;i<shu.length;i++){  
  57.             bs.set(shu[i], true);  
  58.         }  
  59.     }  
  60.     //true,false换成1,0为了好看  
  61.     public static String getBitTo10(boolean flag){  
  62.         String a="";  
  63.         if(flag==true){  
  64.             return "1";  
  65.         }else{  
  66.             return "0";  
  67.         }  
  68.     }  
  69.   
  70. }  

输出:
maxvalue:42
bm1.size()--64
[
0,0,1,0,0,1,1,0,
0,0,0,0,0,0,0,1,
0,0,1,0,0,0,0,0,
0,1,0,0,1,0,0,1,
0,1,0,0,0,1,0,0,
0,0,1,0,0,0,0,0,
0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0
]

这样便完成了存值和取值。
注意它会对重复的数字过滤，就是说，一个数字出现过超过2次的它都记成1.
出现的次数这个信息就丢了。

相关文章

到底要不要选择BaaS？看情况吧
views 1726
 备份即服务（BaaS）从云端提供了备份和恢复操作。基于云的BaaS提供商在其数据中心维持一套必不可少的备份设备、应用软件、流程和管理。客户要在本企业安装一些系统――通常是硬件设备和备份代理，但根本不需要购买备份服务器和软件，不需要什么升级、打补丁，也不需要购买重复数据删除专用设备。 请注意：Baa...
物联网产业渐成规模 2015年或将超7000亿元 -...
views 1678
 近日，在工业和信息化部电信研究院和宽带发展联盟联合主办的“2014宽带通信及物联网高层论坛”上，电信研究院发布了物联网白皮书。通信标准研究所副总工程师党梅梅对物联网白皮书进行了详细解读。 受各国战略引领和市场推动，全球物联网应用呈现加速发展态势，物联网所带动的新型信息化与传统领域走向深度融合，物联...
明年进入云计算商业元年 青云实现云计算最初梦想...
views 1842
 近日，国内著名的基础云服务提供商青云宣布，开启2014年内第三次降价，下调公有云部分资源价格，最高降幅达到了20%。青云自2014年起正式商用后承诺每年都会进行两次资费下调，目的是为了使云计算资源成为一个可以被人们所忽略的资源消费品。就像公有云最开始被提出来时经常被人们挂在嘴边的——“使计算资源可以...
未来云服务走向“一站式”
views 1698
 19世纪末，人类用水力或蒸汽获取动力，在特斯拉发明电力传输方式后，一切都发生变化，人类也可以从电力资源池——发电厂，按需、弹性、安全地取得所需动力。而今天，这一幕正发生在计算能力上，云计算也试图实现按需、弹性、安全地提供计算资源。 电力的传输成就了电力集团，那么云计算也必将会成就计算能力服务商。但是...
百度实时计算平台的实现和应用
views 1743
 百度实时计算平台的实现和应用     “大数据”在互联网行业中已是普遍现象，一家公司每天累积的用户行为数据甚至已不能用TB来衡量。海量数据对实时分析和计算提出了更高的要求，实时处理程序必须确保在严格的时间内响应，通常以秒为单位，甚至是毫秒。传统的批量计算模型已无法满足这些要...
大数据时代驾到：1万亿云计算蛋糕诱惑开始“接地气”...
views 2154
 目前互联网应用更多的是消费者，未来将是工业互联网时代，规模要比现在大很多倍 　　6月5日至7日，第五届中国云计算大会在北京召开。阿里巴巴、百度、金山、IBM、新浪、雅虎等互联网公司技术负责人以及中国移动运营商悉数到场。 　　尽管北京接连几日大雨，但这并没有熄灭技术爱好者的热情，国家会议中心四楼600...
数据、移动化、云计算、电子商务、绿色IT将成为未来5年迫切需要的五个关键技术...
views 1429
 根据市场研究资料的整合，对中国未来5年的IT市场进行了预测。伴随经济的发展，中国IT市场将会持续两位数的增长，尤其在新兴的科技领域，包括业务的自动化、智能化，企业的信息化服务，互联网领域的业务新模式应用都会成为未来IT市场发展的带动力。而对于CIO来说，大数据、移动化、云计算、电子商务、绿色IT将成...
详解大数据的思想形成与价值维度
views 1435
 　　比如经济上，黄仁宇先生对宋朝经济的分析中发现了“数目字管理”(即定量分析)的广泛应用(可惜王安石变法有始无终)。又如军事，“向林彪学习数据挖掘”的桥段不论真假，其背后量化分析的思想无疑有其现实基础，而这一基础甚至可以回推到2000多年前，孙膑正是通过编造“十万灶减到五万灶再减到三万灶”的数据、利...

声明: 本文由( 爱说云网 )原创编译，转载请保留链接: 大数据处理

大数据处理：等您坐沙发呢！

发表评论


热门标签

读者排行

最新评论