一九三八年四月二十五日，新四军第二支队接到军部命令，支队排以上干部二十六日集中在岩寺鲍家祠堂参加叶挺、项英主持召开的“北进敌后、坚持抗战”的誓师大会，粟裕则提前被召到军部金家大院。
军长叶挺对粟裕说：“交给你一个光荣的任务：率领我们的抗日先遣支队去溧水一带侦察！”
项英是新四军的副军长兼政委，他与中央有着直接的联系，实际权力高于叶挺。他告诉粟裕：
“这是中央的意思。中央强调要携带电台和派有军事知识的人去，你是最好的人选。——有两大任务：一是政治工作，要宣传**的抗日救国纲领。现在京沪一带群众因为国民党军事上的失利，加上投降派的造谣生事，说什么抗战必亡，再抗亡得更快，群众极为悲观。我们反对亡国论，反对速胜论，要打持久战。我们要开展抗日民族统一战线，联合工农甚至地主资本家建立抗日政权，才能打垮日伪政权。现在敌后我们没有报纸，国民党的报纸也不会替我们作宣传。反而还散布什么‘**那一套是假的’、‘新四军是苏联的走狗’、‘新四军靠几支破枪和梭标，很快会被日本人消灭’。我们只有自己去宣传。二是军事上的任务，去了解日、伪情况和道路情况。因为新四军从山上下来，完全没有平原作战的经验。不先进行侦察，突然把大部队拉到平原上去和敌人交手，必定会吃亏挨打。我们先到江南敌后侦察日、伪情况，特别是日军薄弱之点和伪军情况，打击日伪的小股部队，伏击、袭击日伪和破坏交通。此行在日寇重兵控制的腹心地区活动，困难很多，危险很大，你要做好充分的思想准备。”
粟裕十分兴奋，当下表态说：“我保证完成党交给的光荣任务！”
随后军部召集排以上的干部在鲍家祠堂召开北进敌后、坚持抗战誓师大会，军部正式命令组建先遣支队，由粟裕任司令，深入江南敌后作战略侦察。
粟裕将先遣支队司令部设在潜口，立即着手出发的准备工作。
负责组建先遣支队的是一支队司令员陈毅，他从各支队抽调侦察连作为先遣支队的主力，末了，又对他的侦察参谋张铚秀说：“先遣支队由二支队副司令员粟裕同志任司令员兼政委，钟期光同志任政治部主任，你去给他当侦察参谋。”
张铚秀立即到先遣支队司令部向粟裕报到。当时中央为了加强新四军的力量从延安派过来一批干部，张铚秀是其中之一。他是江西省永新县人，很能打，长征时在贵州曾率一个营全歼黔军一个营，同时击溃一个营。
粟裕很高兴，表示热烈欢迎。粟裕知道张铚秀参加过长征，握着张铚秀的手，感叹说：“陈毅同志把强兵能将都调来给我了。”
原来调到先遣支队司令部的钟期光、王培臣、曹鸿胜、廖辉、何凤山及张铚秀，都是陈毅身边得力的工作人员。
粟裕扼要地向张铚秀谈了支队的有关情况：“茅山在苏南敌后，日军打下上海、南京后，主力集结徐州一带欲与**决战，江南地区从战略上降到二位，驻扎的日军兵员严重不足，无法控制农村广大地区；去年年底国民党军大撤退，遗留下了许多枪支弹药，江南地区又人烟密集，人枪发展的潜力很大，是新四军发展的最好地带。先遣支队的任务就是在敌后打开局面，为后续部队创造条件，进军路线是先从皖南的黄山脚下北上到南陵，再从南陵东渡青弋江，穿过宣芜铁路封锁线，进入江苏境内，再由北进到南京地区附近茅山一带。”
先遣支队从军部战地服务团内抽调二十四人。战地服务团当时驻在一家大祠堂内。服务团成员里有一个是鲁迅的学生，叫丘东平。丘东平是个作家，他到新四军来主要任务任还是以笔作为武器，用写作的方式参加抗战。但这里演员、歌唱家比比皆是，成天价地练唱、吊嗓子，使丘东平心绪不宁。他叫苦不迭地写信给在上海的胡风说，那些歌声妨碍他的构思……听说要在服务团内选派二十四人组成先遣队到苏南敌后去工作。丘东平毫不迟疑，找到司令粟裕要求成为先遣队成员。
丘东平是个名人，粟裕以前并不知道这个人，但现在已经很了解这个陆海丰来的“赤卫队”员了。所以当丘东平一提出请求，粟裕就很干脆地同意。但他要丘东平认真考虑，他缓慢的声调配和着微笑说：
“丘东平同志，你是一个优秀的无产阶级作家，是党的财富。你再想一下，加入先遣队是不是有必要?”
“我已经想好了，”丘东平抚摸着小胡子，“粟裕同志，你当我还是小孩子吗?我已经长胡子了。”
粟裕笑着说：“那好吧，欢迎你，丘东平同志！“
丘东平兴高采烈，立即做好准备，配着一支“勃朗宁"手枪，打起绑腿，挺着胸，和其他从战地服务团筛选上的二十多人一起去司令部报到。不料来到司令部却被告知只要八个人参加先遣队，丘东平落选了。听说参加先遣支队的名单里没有他丘东平的名字，丘东平顿时火了。
怒冲冲的丘东平一脚跨进一支队司令部的门槛，冲着司令员陈毅说：“我要求参加先遣队！这对我今后负有的重要任务有关。我坚决请求司令员同志接受我的要求!”
“正是因为了解你，才决定你暂时不参加先遣队。”陈毅严肃地说，“丘东平同志，先遣队的条件很严格，要懂得江浙土话，要熟悉江浙地理；要有能吃、能饿、能跑的强壮体格；你是广东人，首先就不合格。”
“我证明我具备有最重要的条件——要是对日本人喊话，非我丘东平莫属。”
陈毅哈哈大笑：“要得，要得，我可以投你一票。你确实是合格的先遣队员，因为你还是作家。此行非一般任务，肯定可以得到许多题材，供你写作。”
经过三天的紧张工作，先遣支队组建完毕，司令部成员有作战参谋张藩，侦察参谋张铚秀，测绘参谋王培臣，见习参谋董南才，电台台长由江如枝担任，副台长廖辉，机要员是何凤山。电台使用的是五瓦台，用手摇马达供电，有一个摇机班，一个通信员，三副担子。政治处主任是钟期光，副官处主任陈荷龙，副官曹鸿胜。所部由一、二、三支队的侦察分队组成的，共三个连五百多人，来自十几个单位，实力相当于一个营。