大数据adb是什么?
一、大数据adb是什么?
分析型数据库,analytic database
二、公共事业管理运用了哪些大数据的采集方法?
大数据的采集方法
1)数据库采集
Redis、MongoDB和HBase等NoSQL数据库常用于数据的采集。企业通过在采集端部署大量数据库,并在这些数据库之间进行负载均衡和分片,来完成大数据采集工作。
2)系统日志采集
系统日志采集主要是手机公司业务平台日常产生的大量日志数据,供离线和在线的大数据分析系统使用。高可用性、高可靠性、可扩展性是日志收集系统所具有的基本特征。系统日志采集工具均采用分布式架构,能够满足每秒数百MB的日志数据采集和传输需求。
3)网络数据采集
网络数据采集是指通过网络爬虫或网站公开API等方式从网站上获取数据信息的过程。
4)感知设备数据采集
感知设备数据采集是指通过传感器、摄像头和其他智能终端自动采集信号、图片或录像来获取数据。
三、互联网大数据存储一般采用的数据库集群?
一般使用分布式存储方式。
四、大数据时代需要哪些数据库技术?
数据库技术的发展实际上取决于互联网发展过程中需求的不断升级。如果数据是小钱钱,那么数据库就好比古代的布袋,皮钱包再到如今的电子钱包。演变就是为了适应需求的变化。总的来说,根据数据库原理的不同,可以分为关系型数据库,NoSQL数据库以及时序数据库。下面就为大家简单介绍下这几类数据库的特点以及应用场景:
关系型数据库
关系型数据库是比较传统的数据库,其中包括SQL Server,Oracle,DB2,MySQL等。关系型数据库是基于行存储的,适合结构化实体的存储,读写性能比较平均,支持复杂条件查询。但对于非结构化数据的存储就有些吃力了。
NoSQL数据库
NoSQL数据库的代表非MongoDB莫属,如今,随着MySQL 8的出现,NoSQL数据库的选择也变得多样起来。NoSQL数据库包括文档型数据库,列存储数据库等。这类数据库很好的支持了非结构化数据的存储,但是部分此类数据库由于其底层实现,读性能相较于写性能来说要优异许多。举个栗子,Google Cloud DataStore是一款文档型数据库,其底层基于列索引的BigTable实现。当插入一个JSON对象时,内部需要很多操作来完成对象的保存,相较于关系型数据库的插入操作要麻烦一些。
时序数据库
时序数据库是一个新兴的概念,目前比较流行有InfluxDB,国内初创公司涛思数据的TDengine也是不错的选择。时序数据库适用于物联网传感器数据的存储以及应用日志收集等场景。通过名字就可以看出该类数据库存储的数据基本都是通过时间戳索引的,因此同样不支持复杂的条件查询。
结语
关系型数据库,NoSQL数据库以及时序数据库的选择取决于要存储的数据类型,应用场景。但在互联网如此发达的今天,还要应对高并发,高可用的挑战。也就有了后来的读写分离,故障转移,读拷贝等技术的出现,同时也诞生了应用缓存Redis,消息队列Kafka等来缓解数据库的压力。在选择数据库时,根据应用场景,数据类型选择最合适的就好。