10M文件限制问题,解决iis7只能上传30M文件的限制

原标题:通过简单瘦身,解决Dataworks 10M文书限制难点

我们的思想政治工作是要运用mongodb的Hadoop
driver处理输出。我们重写的mongodbInputFormat的时候传递数据的时候是把数据写入conf,然后再从mongoSplitter里面里面从conf里面读出来。比如下边那样:

率先甘休IIS7
服务

cabet888,作者们用IIS发表的Bs项目,如果展开文件上传,在上传文件的时候,无法上传文件大小当先4M的文书

摘要:
用户在DataWorks上进行MapReduce作业的时候,文件大于10M的JAEnclave和财富文件无法上传到Dataworks,导致无法运用调度去定期执行MapReduce作业。
化解方案: jar -resources test_mr.

10M文件限制问题,解决iis7只能上传30M文件的限制。把数据放入数据conf:

走访
上边包车型大巴目录

安装文件上传大小的主意,正是修改项指标web.config配置

用户在DataWorks上实施MapReduce作业的时候,文件大于10M的JA奥迪Q5和能源文件不可能上传到Dataworks,导致不恐怕使用调度去定期执行MapReduce作业。

List<Long> tagsUrns =null;
 //tagUrns 赋值…..
 conf.set(“tagUrns”,
            ObjectSerializer.serialize((Serializable) tagsUrns));

X:\Windows\System32\inetsrv\config\schema

在类型中的web.config文件中,添加如下节点

消除方案:

在mapper,reduce,也许mongoSpiltter里拿出conf里的多少:

用记事本打开
IIS_schema.xml

 <system.web>
    <!-- maxRequestLength:解决上传文件4M限制 -->
    <httpRuntime maxRequestLength="999999" executionTimeout="50000"   />   
 </system.web>

首先步:大于10M的resources通过马克斯Compute CLI客户端上传,

List<Long> tagUrns = (List<Long>) ObjectSerializer
            .deserialize(context.getConfiguration().get(“tagUrns”));

右键管理员取得权限,以去除只读属性。

那正是说在IIS7.0这样设置后,无论maxRequestLength多大, 最大只可以30M,
还要配置一下

客户端下载地址:

鉴于conf只好放入boolean、int、string的值,而作者供给给hadoop
Configuration放入的是list只怕其余对象,所以要求动用五个队列化学工业具类。

查找
<attribute name=”maxAllowedContentLength” type=”uint”
defaultValue=”30000000″ />

在web.config添加如下配置

客户端配置AK、EndPoint:

队列化学工业具类代码:

见到
三千000 了呢。加三个0 正是 300MB 咯。。自身加吧。设置好保存。运行 IIS7
就足以拉。

 <system.web>
    <!-- maxRequestLength:解决上传文件4M限制 -->
    <httpRuntime maxRequestLength="999999" executionTimeout="50000"   />   
 </system.web>

add jar C:\test_mr\test_mr.jar -f;//添加财富

import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;

在加上

其次步:方今通过马克斯Compute
CLI上传的财富,在Dataworks右边财富列表是找不到的,只可以通过list
resources查看确认财富;

import java.io.*;

<system.webServer>
     <security>
          <requestFiltering>
          <requestLimits maxAllowedContentLength="1048576000" />
          </requestFiltering>
     </security>
 </system.webServer> 

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图