共 5 页: 上一页 1 2 3 4 5 下一页
摘要:首先添加相关依赖: 需要注意的是依赖中排除掉的日志模块,以及特殊的打包方式 定义配置类: 启动类: 执行方式: 参考链接: "http://stackoverflow.com/questions/45189701/submitting spring boot application jar to 阅读全文
posted @ 2018-08-24 16:00 堕落门徒 阅读 (4097) 评论 (2) 编辑
摘要:ignite分布式计算 在ignite中,有传统的MapReduce模型的分布式计算,也有基于分布式存储的并置计算,当数据分散到不同的节点上时,根据提供的并置键,计算会传播到数据所在的节点进行计算,再结合数据并置,相关联的数据存储在相同节点,这样可以避免在计算过程中涉及到大量的数据移动,有效保证计算 阅读全文
posted @ 2018-08-23 23:29 堕落门徒 阅读 (1192) 评论 (0) 编辑
摘要:静态分区: 在hive中创建表可以使用 脚本: 注意,分区字段不能与表中的字段重复,不然会执行出错 执行 脚本: 手动添加分区: 创建好分区后,hive会在HDFS存储中创建相应的路径: 或者使用 使用 脚本导入数据: 在使用sqoop导入数据的时候可以指定分区,但是 和` hive partiti 阅读全文
posted @ 2018-08-23 18:12 堕落门徒 阅读 (2351) 评论 (0) 编辑
摘要:1.使用pip命令安装cx_Oracle 2.安装oracle客户端,并添加到path TT快三下载 路径: "http://www.oracle.com/technetwork/database/database technologies/instant client/downloads/index.htm 阅读全文
posted @ 2018-08-21 15:15 堕落门徒 阅读 (436) 评论 (0) 编辑
摘要:在TT快三Win dows下换行符是 ,表示回到行首并换到下一行 而unix系统中换行符是 这样就存在一个问题,在TT快三Win dows上的文档到了unix上可能就无法使用了 针对这个情况有几种解决办法: 1.用vim修改文档的文本格式(fileformat) 2.使用ide修改文本格式 notepad++: 右下角 阅读全文
posted @ 2018-08-20 21:12 堕落门徒 阅读 (129) 评论 (0) 编辑
摘要:ignite持久化与固化内存 1.持久化的机制 ignite持久化的关键点如下 : ignite持久化可防止内存溢出导致数据丢失的情况; 持久化可以定制化配置,按需持久化; 持久化能解决在大量缓存数据情况下ignite节点启动缓慢的问题; 使用持久化后,ignite能存储海量的数据; 使用持久化之后 阅读全文
posted @ 2018-08-20 11:16 堕落门徒 阅读 (2678) 评论 (6) 编辑
摘要:​ 使用ignite的一个常见思路就是将现有的关系型数据库中的数据导入到ignite中,然后直接使用ignite中的数据,相当于将ignite作为一个缓存TT快三服务 ,当然ignite的功能远不止于此,下面以将ignite集成进javaTT快三服务 的方式进行演示ignite的数据存储和查询相关的功能。由于个人习惯, 阅读全文
posted @ 2018-08-20 08:51 堕落门徒 阅读 (2747) 评论 (0) 编辑
摘要:ignite有两种配置方式,一种是基于XML文件的配置,一种是基于JAVA代码的配置: 这里将ignite常用的配置集中罗列出来了,一般建议使用xml配置。 1,基于XML的配置 基于此XML配置启动ignite节点的方式如下: 2,基于JAVA代码的配置 一般建议基于XML配置,spring be 阅读全文
posted @ 2018-08-20 08:50 堕落门徒 阅读 (1140) 评论 (0) 编辑
摘要:apache igniteTT快三简介 (一) 1,TT快三简介 ​ ignite是分布式内存网格的一种实现,其基于java平台,具有可持久化,分布式事务,分布式计算等特点,此外还支持丰富的键值存储以及SQL语法(基于h2引擎),可以看成是一个分布式内存数据库。 与ignite类似的TT快三产品 有gemfire(12306目 阅读全文
posted @ 2018-08-20 00:35 堕落门徒 阅读 (4485) 评论 (0) 编辑
摘要:1, TT快三简介 ​ Airflow是一个可编程,调度和监控的工作流平台,基于有向无环图(DAG),airflow可以定义一组有依赖的任务,按照依赖依次执行。airflow提供了丰富的命令行TT快三工具 用于系统管控,而其web管理界面同样也可以方便的管控调度任务,并且对任务运行状态进行实时监控,方便了系统的运维和 阅读全文
posted @ 2018-08-19 20:05 堕落门徒 阅读 (18230) 评论 (0) 编辑
共 5 页: 上一页 1 2 3 4 5 下一页